İçeriğe geç

Web tasarımı, yazılım ve teknik destek

Giriş yap +90 539 219 79 78 WhatsApp
SEO ve GEO

GPTBot, ClaudeBot ve Yapay Zekâ Botları: robots.txt ile İzin Vermeli misiniz?

Yapay zekâ şirketleri web sitelerini model eğitimi, arama sonuçları ve kullanıcı istekleri için farklı botlarla tarar. Hangi botu engellemek neyi değiştirir, robots.txt nasıl yazılır ve neye karar vermelisiniz?

Boran KaradenizKarınca Bilişim Son güncelleme: 5 dk

Bu içeriği farklı bir yapay zekâ aracında özetleyin

Seçtiğiniz araç, yazının adresiyle hazırlanmış bir özet isteğiyle yeni sekmede açılır.

Yapay zekâ şirketleri sitenizi genellikle üç farklı amaçla ziyaret eder: model eğitimi için veri toplamak, kendi arama sonuçlarına dizin oluşturmak ve bir kullanıcının sorusunu yanıtlamak için sayfanızı anlık açmak. Bu amaçların her biri robots.txt dosyasında ayrı bir bot adıyla kontrol edilir. Eğitim botunu engellemek, sitenizin ChatGPT veya Claude gibi araçların cevaplarında kaynak gösterilmesini kendiliğinden engellemez; arama ve kullanıcı botlarını engellemek ise bu görünürlüğü azaltabilir.

Yapay zekâ destekli arama araçları, kullanıcıların bilgiye ulaşma biçimini hızla değiştiriyor. Bu durum site sahiplerinin önüne iki soru çıkarıyor: içeriğimin yapay zekâ modellerini eğitmekte kullanılmasını istiyor muyum, ve bu araçların cevaplarında kaynak olarak görünmek istiyor muyum? Bu rehber, iki soruyu birbirinden ayırarak doğru robots.txt kararını vermenize yardımcı olmak için hazırlandı.

Yapay zekâ botları neden birden fazla?

Büyük yapay zekâ şirketleri, farklı amaçlar için ayrı botlar kullanır ve her birini robots.txt dosyasında ayrı bir ad (user-agent) ile tanıtır. Bu ayrım, site sahibine "eğitimde kullanmayın ama arama sonuçlarında gösterin" gibi ince bir tercih yapma imkânı verir.

ŞirketEğitim botuArama botuKullanıcı isteği botu
OpenAIGPTBotOAI-SearchBotChatGPT-User
AnthropicClaudeBotClaude-SearchBotClaude-User
Perplexity—PerplexityBotPerplexity-User
GoogleGoogle-Extended (izin belirteci)Googlebot—
AppleApplebot-Extended (izin belirteci)Applebot—

Bunların yanında Common Crawl'ın CCBot'u gibi açık veri kümeleri oluşturan tarayıcılar da vardır; bu veri kümeleri birçok modelin eğitiminde kullanılır.

Google-Extended ne işe yarar?

Google-Extended ayrı bir tarayıcı değil, robots.txt'de kullanılan bir izin belirtecidir. Sitenizin içeriğinin Gemini modellerinin eğitiminde ve bazı Gemini özelliklerinde kullanılıp kullanılmayacağını belirler. Google, Google-Extended'i engellemenin Google Arama'daki sıralamanızı ve arama sonuçlarına dahil edilmenizi etkilemediğini belirtir. Arama sonuçları ve yapay zekâ özetleri Googlebot'un taramasına dayanır; Googlebot'u engellemek ise sitenizi Google Arama'dan çıkarmak anlamına gelir. Applebot-Extended de Apple için benzer biçimde çalışır.

Hangi botu engellemek neyi değiştirir?

Karar verirken eğitim ile görünürlüğü birbirinden ayırmak gerekir:

  • Eğitim botları (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot): Engellemek, içeriğinizin gelecekteki model eğitimlerinde kullanılmamasını istediğinizi bildirir. Daha önce toplanmış verileri geri almaz.
  • Arama botları (OAI-SearchBot, Claude-SearchBot, PerplexityBot): Engellemek, sitenizin bu araçların arama dizininde yer alma ve cevaplarda kaynak gösterilme ihtimalini azaltır. Anthropic, Claude-SearchBot'u engellemenin arama sonuçlarındaki görünürlüğü düşürebileceğini açıkça belirtir.
  • Kullanıcı isteği botları (ChatGPT-User, Claude-User, Perplexity-User): Bir kullanıcı sohbet sırasında sayfanızı açmak istediğinde çalışır. Engellemek, kullanıcının sizin sayfanız hakkındaki sorusunun güncel içerikle yanıtlanmasını zorlaştırır.

Kurumsal siteler, hizmet sayfaları ve rehber içerikleri için genellikle önerilen yaklaşım, arama ve kullanıcı botlarına izin vermek, eğitim botları konusunda ise içerik politikanıza göre karar vermektir.

robots.txt nasıl yazılır?

robots.txt dosyası sitenizin kök dizininde yer alır ve her bot için ayrı bir grup tanımlanır. Bir bot için özel grup varsa o bot genel "User-agent: *" kurallarını değil, yalnız kendi grubunu dikkate alır.

Yalnız eğitim botlarını engelleyen bir robots.txt örneği şu gruplardan oluşur:

SatırAnlamı
User-agent: GPTBot / Disallow: /OpenAI'ın eğitim botu sitenin tamamını taramaz
User-agent: ClaudeBot / Disallow: /Anthropic'in eğitim botu sitenin tamamını taramaz
User-agent: Google-Extended / Disallow: /İçerik Gemini eğitiminde kullanılmaz
User-agent: CCBot / Disallow: /Common Crawl veri kümesine eklenmez
User-agent: * / Allow: /Diğer bütün botlar, arama motorları dahil, siteyi tarar
Sitemap: https://alanadiniz.com/sitemap.xmlSite haritasının adresi

Dosyada her grup ayrı satırlarda yazılır ve gruplar arasında boş satır bırakılır. Kendi dosyanızı hazırlamak için robots.txt oluşturucu aracımızı kullanabilirsiniz; araçta "Yalnız eğitim botlarını engelle" seçeneği bu yapıyı kendiliğinden üretir.

Botlar robots.txt kurallarına uyuyor mu?

OpenAI, Anthropic, Google ve Perplexity, botlarının robots.txt kurallarına uyduğunu belgelerinde açıklar; Anthropic, kullanıcı isteğiyle çalışan Claude-User dahil üç botunun da robots.txt kurallarına uyduğunu belirtir. Ancak robots.txt bir rica niteliğindedir ve teknik bir engel değildir. Kendini farklı bir adla tanıtan veya kurallara uymayan tarayıcılar için sunucu ya da CDN düzeyinde güvenlik duvarı kuralları gerekir. Cloudflare gibi hizmetler, bilinen yapay zekâ botlarını tek ayarla yönetme imkânı da sunar.

Eski bot adlarına da dikkat edin: Anthropic'in daha önce kullandığı "anthropic-ai" ve "Claude-Web" adları artık kullanılmıyor; robots.txt dosyanızda yalnız bu adlar varsa kurallarınız güncel botlara uygulanmıyor olabilir.

Mevcut durumunuzu nasıl kontrol edersiniz?

Sitenizin robots.txt dosyasının her bot için ne söylediğini görmek için yapay zekâ bot erişim kontrolü aracımızı kullanabilirsiniz. Araç 14 yaygın botu tek tek değerlendirir ve hangisinin hangi kural grubuna göre izinli ya da engelli olduğunu gösterir.

Yapay zekâ araçlarının sitenizi doğru anlaması için robots.txt'nin yanında şu adımlar da önerilir:

  1. Yapılandırılmış veri ekleyin: Organizasyon, hizmet ve sık sorulan sorular için Schema.org işaretlemesi, içeriğinizin bağlamını netleştirir.
  2. Kısa ve net cevaplar yazın: Sayfalarınızın başında sorunun cevabını bir iki cümleyle verin; ayrıntıyı alt başlıklarda anlatın.
  3. llms.txt dosyasını değerlendirin: Sitenizin önemli sayfalarını listeleyen bu dosya resmî bir standart değildir ama hazırlaması kolaydır. llms.txt oluşturucu site haritanızdan bir taslak çıkarır.
  4. Sunucu kayıtlarını izleyin: Hangi botların sitenizi ne sıklıkla ziyaret ettiğini görmek, kararlarınızı veriye dayandırmanızı sağlar.

Sonuç

Yapay zekâ botları konusunda tek bir doğru karar yoktur; doğru karar içeriğinizin türüne ve iş hedeflerinize bağlıdır. Hizmetlerini tanıtan ve yeni müşteri arayan bir işletme için arama ve kullanıcı botlarını açık tutmak genellikle faydalıdır. Eğitim botlarını engellemek ise içerik politikanızla ilgili ayrı bir karardır ve arama görünürlüğünüzü doğrudan etkilemez. Hangi yaklaşımı seçerseniz seçin, robots.txt dosyanızı güncel bot adlarıyla yazın ve yılda en az bir kez gözden geçirin.

Tüm yazılar
Hemen araWhatsApp