Nasıl bir dosyadır?
robots.txt sitenin kökünde durur — https://siteniz.com/robots.txt. Düz metindir, herkes okuyabilir. İçinde tarayıcı adları ve onlara verilen izinler bulunur:
User-Agent:hangi tarayıcıya sesleniyorsunuz (*hepsi demek)Disallow:gezilmesini istemediğiniz yolAllow:yasaklı bir bölümün içindeki istisnaSitemap:site haritanızın adresi
Gizleme aracı değildir
İki nedenle: birincisi, dosya herkese açıktır — gizlemek istediğiniz yolu robots.txt’e yazmak onu ilan etmektir. İkincisi, uymak tarayıcının tercihidir; iyi niyetli tarayıcılar uyar, kötü niyetli olanlar umursamaz.
Gerçekten korunması gereken bir bölüm varsa çözüm kimlik doğrulamadır, robots.txt değil.
"Disallow" ile "noindex" aynı şey değildir
Bu ayrım sitelere pahalıya mal olur. Disallow "bu sayfayı gezme" der. noindex "bu sayfayı arama sonuçlarında gösterme" der.
Bir sayfaya Disallow koyar ve aynı zamanda sayfaya noindex yazarsanız, Google sayfayı gezemediği için noindex talimatını hiç göremez — sayfa indekste kalabilir. Bir sayfanın arama sonuçlarından çıkmasını istiyorsanız gezilmesine izin verip noindex kullanın.
Yapay zeka tarayıcıları için ne yazmalı?
Yapay zeka aramalarında görünmek istiyorsanız şu tarayıcılara izin verilmelidir: GPTBot ve OAI-SearchBot (OpenAI), ClaudeBot (Anthropic), PerplexityBot (Perplexity). Bunları engellemek, o sistemlerde tamamen görünmez olmak demektir.
Ayrı bir konu: model eğitimine veri vermek istemiyorsanız CCBot gibi eğitim odaklı tarayıcıları engelleyebilirsiniz. Arama görünürlüğü ile eğitim izni farklı kararlardır ve ayrı ayrı verilebilir.
Bir uyarı: kullanıcının kendi isteğiyle tetiklenen bazı getiriciler robots.txt’i tasarımı gereği dikkate almaz. Bunları engellemek istiyorsanız sunucu tarafında erişim denetimi gerekir.
En pahalı hata
Tek satır: Disallow: /. Bu, sitenin tamamını taramaya kapatır. Genellikle geliştirme ortamından canlıya yanlışlıkla taşınır ve fark edilmesi haftalar alır — çünkü site normal çalışmaya devam eder, yalnız arama sonuçlarından yavaşça kaybolur.
Canlıya her geçişten sonra robots.txt dosyasını tarayıcıdan bir kez açıp okumak, bu riski tamamen ortadan kaldırır.
İlgili
Site haritası · Canonical etiketi · Yapay zeka aramasında görünürlük