Robots.txt Oluşturucu nedir, ne işe yarar?
robots.txt, arama motoru botlarına sitenizin hangi bölümlerini tarayabileceğini söyleyen dosyadır. Yanlış bir satır tüm sitenizin Google'dan kaybolmasına yol açabilir. Bu araç; yönetim paneli, sepet gibi gereksiz dizinleri engelleyen, site haritanızı belirten ve GPTBot, ClaudeBot gibi yapay zekâ botlarına izin/engel tercihi yapabildiğiniz güvenli bir dosya üretir.
Nasıl kullanılır?
- Site haritası adresinizi girin.
- Engellemek istediğiniz dizinleri ve yapay zekâ botu tercihini belirleyin.
- Oluşan metni sitenizin kök dizinine robots.txt olarak kaydedin.
Sık sorulan sorular
robots.txt sayfayı Google'dan kaldırır mı?
Hayır; yalnızca taramayı engeller. İndeksten çıkarmak için noindex kullanılmalıdır.
Yapay zekâ botlarını engellemeli miyim?
Markanızın ChatGPT gibi asistanlarda önerilmesini istiyorsanız izin vermeniz önerilir (GEO).
robots.txt nereye yüklenir?
Alan adınızın kök dizinine: alanadiniz.com/robots.txt