Robots.txt Üretici
Seçenekleri işaretleyin; robots.txt dosyanız hazır olsun.
Ayarlar
Robots.txt Hakkında
robots.txt, arama motoru botlarına sitenizin hangi bölümlerini tarayabileceklerini söyler. Dosya sitenizin kök dizininde (siteniz.com/robots.txt) bulunmalıdır.
Önemli: robots.txt bir güvenlik önlemi değildir — engellenen sayfalar yine de ziyaret edilebilir. Gizli içerik için şifre koruması veya sunucu tarafı erişim kısıtı kullanın. Ayrıca zaten dizine girmiş bir sayfayı çıkarmak için robots.txt yerine noindex meta etiketi gerekir.
robots.txt Dosyası Ne İşe Yarar?
robots.txt, sitenizin kök dizininde duran ve arama motoru botlarına "nereye girebilirsin, nereye girme" talimatı veren metin dosyasıdır. Yönetim panelleri, sepet/filtre sayfaları ve teşekkür sayfaları gibi taranması gereksiz alanları kapatmak; tarama bütçesini değerli sayfalara yönlendirir. Bu araç, kurallarınızı seçerek geçerli bir robots.txt dosyası üretir.
Temel Sözdizimi
- User-agent: Kuralın hangi bota uygulanacağı (* = tümü).
- Disallow: Taranmasını istemediğiniz yol (/admin/ gibi).
- Allow: Disallow edilen klasör içinde istisna açar.
- Sitemap: Site haritanızın tam adresi — botların keşfini hızlandırır.
Kritik Yanılgı: Engelleme ≠ Gizleme
robots.txt bir tarama talimatıdır, indeks veya güvenlik aracı değildir: engellenen bir URL, dış linkler yüzünden yine de arama sonuçlarında (içeriksiz) görünebilir; dosya herkese açık olduğu için gizli yollarınızı da ifşa eder. Bir sayfayı sonuçlardan çıkarmak için noindex etiketi, korumak için kimlik doğrulama kullanılır. En tehlikeli hata "Disallow: /" ile tüm siteyi yanlışlıkla kapatmaktır — yayına almadan önce dosyanızı Search Console'un test araçlarıyla doğrulayın. Yönlendirme kuralları için .htaccess Üretici aracına bakabilirsiniz.
Sık Sorulan Sorular
robots.txt nereye yüklenir?
Sitenin kök dizinine, tam olarak alanadi.com/robots.txt adresinde erişilebilir olmalıdır; alt klasörde çalışmaz.
Tüm botlar kurallara uyar mı?
Saygın arama motorları uyar; kötü niyetli botlar umursamaz. Güvenlik için robots.txt'e değil sunucu taraflı korumaya güvenin.
Yayın öncesi dosyanızı Search Console ile test edin; yanlış Disallow tüm sitenizi görünmez kılabilir.