robots.txt Üretici
Tarayıcı kurallarınızı, yapay zekâ botları dâhil, hatasız bir robots.txt dosyasına döker.
Tamamen tarayıcınızda çalışır, veri gönderilmez Kayıt gerekmez Ücretsiz
Arama motorları
Yapay zekâ tarayıcıları
İçeriğinizin dil modelleri tarafından okunmasını ve kaynak gösterilmesini istiyorsanız açık bırakın. Kapatırsanız yapay zekâ yanıtlarında görünmezsiniz.
robots.txt ne yapar, ne yapmaz
Yapar: Tarayıcılara hangi yolları taramamalarını söyler. Sunucu yükünü ve gereksiz tarama trafiğini azaltır.
Yapmaz: Bir sayfayı arama sonuçlarından çıkarmaz. Engellenen bir sayfaya dışarıdan bağlantı varsa Google onu içeriğini görmeden yine listeleyebilir. Bir sayfanın dizine girmemesini istiyorsanız doğru araç noindex meta etiketidir — ve noindex’in görülebilmesi için sayfanın robots.txt ile engellenmemiş olması gerekir. En sık yapılan hata budur.
Gizlemez: robots.txt herkese açıktır. Gizli kalması gereken bir yolu buraya yazmak, onu adresiyle birlikte ilan etmek demektir.
En tehlikeli iki satır
User-agent: * ve altında Disallow: / — bu ikili sitenizin tamamını taramaya kapatır. Yeni site yayına alınırken test ortamından kalan bu satır yüzünden aylarca görünmeyen siteler gördük. Yayına aldıktan sonra mutlaka test aracımızla kontrol edin.
Aynı konudaki diğer araçlar
Tarama, indeksleme, yönlendirme ve sunucu tarafı sinyaller.
Araçlar bir fikir verir; asıl iş sonrasında başlar.
Sitenizin bütününü ücretsiz analiz edelim; hangi işin önce yapılması gerektiğini birlikte görelim.