Robots.txt ve Sitemap Kontrolü
Sitenin robots.txt dosyasını okuyun; Googlebot ve yapay zekâ botları için engellenen yolları, belirli bir adresin taranıp taranamayacağını ve site haritasındaki engellenmiş adresleri görün.
Formu doldurup aracı çalıştırın; sonuçlar burada görünür.
Bu araç sorguyu sunucumuz üzerinden yapar; girdiğiniz bilgiler kaydedilmez. Yalnız herkese açık siteler incelenir.
Kısaca
Robots.txt kontrolü, sitenin tarama kurallarını botlara göre yorumlar: hangi yol Googlebot’a, hangisi GPTBot veya ClaudeBot’a kapalı. Site haritasında olup robots.txt ile engellenen adresler Search Console’da hata üretir; Disallow sayfayı dizinden çıkarmaz.
Robots.txt ve Sitemap Kontrolü ne işe yarar?
robots.txt, tarayıcılara hangi yolları ziyaret edemeyeceklerini söyler. Yanlış bir “Disallow” satırı önemli sayfaları Google’dan düşürebilir; site haritasında bulunan ama robots.txt ile engellenen adresler Search Console’da hata olarak görünür.
Robots.txt ve Sitemap Kontrolü nasıl kullanılır?
- Site adresini yazın, isterseniz bir yol ekleyin.
- “İncele”ye basın.
- Engellenen önemli yolları ve harita çakışmalarını düzeltin.
Araç ücretsizdir, üyelik gerektirmez ve girdiğiniz bilgiler saklanmaz.
Kimler, ne zaman kullanır?
- Dizinden düşen sayfayı araştıran SEO uzmanları
- Yeni robots.txt kuralını test eden geliştiriciler
- Yapay zekâ botu erişimini kontrol edenler
Sık sorulan sorular
Disallow sayfayı dizinden çıkarır mı?
Hayır; yalnız taramayı engeller. Dizinden çıkarmak için sayfaya noindex ekleyin ve taranmasına izin verin.
robots.txt yoksa ne olur?
Her şey taranabilir kabul edilir; sorun değildir ama site haritası satırı eklemek için oluşturmanız önerilir.