Robots.txt Oluşturucu
Engellemek istediğiniz klasörleri, site haritası adresini ve yapay zekâ botlarına izni seçin; sitenizin köküne koyacağınız robots.txt dosyasını hazırlayın.
Sonuçlar siz yazdıkça burada görünür.
Bu araç tamamen tarayıcınızda çalışır; girdiğiniz bilgiler sunucuya gönderilmez ve saklanmaz.
Kısaca
Robots.txt, sitenin kök dizininde duran ve arama motoru botlarına hangi yolları tarayabileceklerini söyleyen metin dosyasıdır. Disallow taramayı engeller ama sayfayı dizinden çıkarmaz; yanlış bir satır bütün siteyi Google’dan düşürebileceği için dikkatle hazırlanmalıdır.
Robots.txt Oluşturucu ne işe yarar?
robots.txt, arama motoru ve yapay zekâ tarayıcılarına sitenin hangi bölümlerini taramayacaklarını söyler. Bir sayfayı dizinden çıkarmaz; bunun için noindex kullanılır.
Robots.txt Oluşturucu nasıl kullanılır?
- Site haritası adresinizi yazın.
- Taranmasını istemediğiniz yolları ekleyin ve yapay zekâ tercihinizi seçin.
- Kodu kopyalayıp sitenizin köküne robots.txt olarak kaydedin.
Araç ücretsizdir, üyelik gerektirmez ve girdiğiniz bilgiler saklanmaz.
Kimler, ne zaman kullanır?
- Yönetim ve arama sayfalarını taramadan çıkarmak isteyenler
- Yapay zekâ botlarına izin veya engel belirleyen site sahipleri
- Yeni site yayına alan geliştiriciler
Sık sorulan sorular
robots.txt ile sayfayı Google’dan kaldırabilir miyim?
Hayır. Engellenen sayfa başka sitelerden bağlantı alırsa dizinde kalabilir. Kaldırmak için noindex etiketi kullanın ve sayfayı taramaya açık bırakın.
Yapay zekâ botlarını engellemek SEO’yu etkiler mi?
Googlebot’u etkilemez. Google-Extended ve benzeri eğitim botlarını engellemek arama sıralamanızı değiştirmez; ancak yapay zekâ cevaplarında kaynak gösterilme ihtimalinizi azaltabilir.