Yapay Zekâ Tarayıcı Erişim Denetimi
ChatGPT, Perplexity, Claude, Copilot ve Gemini tarayıcılarının robots.txt erişimini tek tek değerlendirir.
Girdiğiniz adres sunucumuzdan okunur Kayıt gerekmez Ücretsiz
Hangi bot ne yapar?
| Tarayıcı | Sahibi | İşi |
|---|---|---|
GPTBot | OpenAI | Model eğitimi için içerik toplar |
OAI-SearchBot | OpenAI | ChatGPT arama sonuçlarında kaynak göstermek için |
ChatGPT-User | OpenAI | Kullanıcı bir bağlantı verdiğinde o an okur |
ClaudeBot | Anthropic | İçerik toplama |
Claude-Web | Anthropic | Kullanıcı isteğiyle sayfa okuma |
PerplexityBot | Perplexity | Yanıtlarda kaynak gösterme |
Google-Extended | Gemini ve AI Overviews için | |
Applebot-Extended | Apple | Apple Intelligence |
Bytespider | ByteDance | İçerik toplama |
CCBot | Common Crawl | Açık veri kümesi; birçok model bunu kullanır |
Açmalı mı, kapatmalı mı?
Bu bir tercih meselesidir, teknik bir zorunluluk değil. Açmanın gerekçesi: yapay zekâ yanıtlarında işletmenizin kaynak gösterilmesi, yeni bir görünürlük kanalı. Özellikle OAI-SearchBot, PerplexityBot ve Google-Extended doğrudan bu işe yarar.
Kapatmanın gerekçesi: özgün içeriğinizin izinsiz eğitim verisi olmasını istemiyor olabilirsiniz. Bu durumda GPTBot, CCBot ve Bytespider’ı kapatıp arama odaklı botları açık bırakmak dengeli bir yol.
Kararınızı verdikten sonra dosyayı robots.txt üreticimizle hazırlayabilir, ardından llms.txt ekleyerek anlamayı kolaylaştırabilirsiniz.
Aynı konudaki diğer araçlar
ChatGPT, Gemini ve AI Overviews tarafında görünür olmak.
Araçlar bir fikir verir; asıl iş sonrasında başlar.
Sitenizin bütününü ücretsiz analiz edelim; hangi işin önce yapılması gerektiğini birlikte görelim.