robots.txt Test Aracı
Bir adresin robots.txt tarafından engellenip engellenmediğini ve hangi kuralın engellediğini söyler.
Girdiğiniz adres sunucumuzdan okunur Kayıt gerekmez Ücretsiz
Kural eşleşmesi nasıl çalışır?
Google, birden fazla kural eşleştiğinde en uzun (en belirgin) olanı uygular. Yani Disallow: /urun/ ve Allow: /urun/ozel-kampanya birlikte varsa, ikinci adres taranabilir kalır. Eşit uzunlukta iki kural varsa Allow kazanır.
* herhangi bir karakter dizisi, $ ise satır sonu anlamına gelir. Disallow: /*.pdf$ tüm PDF’leri kapatır.
Engellemek ile dizinden çıkarmak aynı şey değil
robots.txt yalnızca taramayı engeller. Engellenen bir sayfaya dışarıdan bağlantı varsa Google onu içeriğini görmeden yine de listeleyebilir. Dizinden çıkarmak için noindex gerekir — ve noindex’in görülebilmesi için sayfanın robots.txt ile engellenmemiş olması şarttır. İndekslenebilirlik aracımız bu çelişkiyi de yakalar.
Aynı konudaki diğer araçlar
Tarama, indeksleme, yönlendirme ve sunucu tarafı sinyaller.
Araçlar bir fikir verir; asıl iş sonrasında başlar.
Sitenizin bütününü ücretsiz analiz edelim; hangi işin önce yapılması gerektiğini birlikte görelim.