Site veya sayfaların dizinlenmesini nasıl yasaklarım?

robots.txt dosyasını, HTML işaretlemesini veya site üzerindeki yetkilendirmeyi kullanarak site içeriğini endekslemeden gizleyebilirsiniz.

Bir web sitesinin, bölümün veya sayfanın dizinlenmesini yasaklayın

Sitenin bazı sayfaları veya bölümleri dizinlenmemeliyse (örneğin, teknik veya gizli bilgi içerenler), erişimi kısıtlamak için aşağıdaki yöntemleri kullanın:

  • Robots.txt dosyasında Disallow direktifini belirtin.

  • Site sayfalarının HTML kodunda robots meta etiketini noindex veya none direktifi ile belirtin. Daha fazla bilgi için Robots meta etiketi ve HTTP başlığı X-Robots-Tag bölümüne bakın.

  • Site üzerinde yetkilendirme kullanın. Ana sayfayı dizinlemeden gizlemek için bu yöntemi öneriyoruz. Ana sayfa robots.txt dosyasında yasaklanmışsa ancak diğer sitelerden ona yönlendiren bağlantılar varsa, sayfa arama sonuçlarına dahil edilebilir.

    Not

    Yetkisiz kullanıcıların kısıtlı sayfalara erişimini önlemek için, bu tür sayfalar için sunucunun HTTP yanıt kodunu 404 Not Found, 403 Forbidden veya 410 Gone olarak yapılandırın.

Sayfa metninin bir kısmının dizinlenmesini yasaklayın

Metnin bir kısmını dizinlemeden gizlemek için birkaç yol vardır:

  • Sayfanın HTML koduna noindex öğesini ekleyin. Örneğin:

    <noindex>endekslenmemesi gereken metin</noindex>

    Öğe iç içe geçmeye duyarlı değildir – sayfanın HTML kodunda herhangi bir yerde bulunabilir. Sayfada kapanış etiketi yoksa, sayfanın tüm içeriği gizli kabul edilir. Birden fazla iç içe noindex etiketi oluşturmayın çünkü işaretleme ilk kapanış etiketinden sonrasını yok sayacaktır.

    Site kodunu geçerli hale getirmek için gerekirse etiketi aşağıdaki biçimde kullanabilirsiniz:

    <!--noindex-->endekslenmemesi gereken metin<!--/noindex-->

  • Sayfanın HTML koduna noscript öğesini ekleyin. Örneğin:

    <noscript>endekslenmemesi gereken metin</noscript>

    Noscript öğesi, noindex gibi dizinlemeyi yasaklar ancak tarayıcıları JavaScript’i destekleyen kullanıcılar için sitenin içeriğini gizler.

    Not

    JavaScript, kullanıcı tarafından özellikle devre dışı bırakılmadıkça tüm popüler tarayıcılar tarafından desteklenir.

    JavaScript desteği raporunu Yandex Metrica’da görüntüleyebilirsiniz.

Rel özniteliğini kullanmanızı öneririz. Öznitelik değerleri, arama motorunun web sitesi içeriğini daha iyi tanımasına yardımcı olan çeşitli bağlantı türlerini belirtir.

  • rel="ugc". Web sitenizde bir forum varsa veya ziyaretçilerin geri bildirim bırakma imkanı varsa ve sağladıkları bağlantıların kalitesinden emin değilseniz kullanın.
  • rel="sponsored". Bağlantı reklamla ilgiliyse veya başka bir web sitesiyle ortaklık programı şartları altında bir reklam yerleştirme veya yerleştirme noktasına işaret ediyorsa kullanın.
  • rel="nofollow". Bağlantının türüne bakılmaksızın robotun bağlantıyı takip etmesini önlemek için kullanın.

Birden fazla değeri birleştirebilirsiniz. Örnek:

<a href="url" rel="nofollow,sponsored">bağlantı metni</a>
veya
<a href="url" rel="nofollow sponsored">bağlantı metni</a>

Rel özniteliğinin değerleri, robot tarafından bağlantıyı görmezden gelme önerisi olarak algılanır.

Sayfadaki tüm bağlantıları dizine eklemeden gizlemek için, sayfanın HTML kodunda robots meta etiketini nofollow direktifi ile belirtin. Robot siteyi tararken bağlantıları takip etmez, ancak diğer kaynaklardan bunları öğrenebilir. Örneğin, diğer sayfalarda veya sitelerde.

Listelenen talimatlardan herhangi birini kullanırken, bağlantı robot tarafından işlenebilir ve Yandex Webmaster’da dahili veya harici olarak görüntülenebilir. Bağlantının Yandex Webmaster’da görüntülenmesi veya yokluğu, arama algoritmalarının bunu dikkate aldığı anlamına gelmez.

Daha fazla bilgi edinin

Destek ile iletişime geçin



Ayrıca şuraya gidebilirsiniz:

Önceki
Düşük değerli veya düşük talep gören sayfalar
Sonraki
Sayfaları aramadan nasıl kaldırırım?