robots.txt, botların belirli URL yollarını tarayıp taramayacağını bildiren metin dosyasıdır. Dizinden kaldırma aracı değildir: engellenen bir URL bağlantılardan keşfedilip yine de arama sonuçlarında sınırlı bilgiyle görünebilir.
Dosyanın yeri ve sözdizimi
Dosya alan adının kökünde /robots.txt adresinde sunulmalıdır. User-agent grubundan sonra Disallow veya Allow kuralları yazılır. Yanlış yol eşleşmesi önemli sayfaları engelleyebilir. Google'ın robots.txt test araçları ve URL Denetimi ile örnek URL'leri kontrol edin.
Neyi engellemeli?
Tarama bütçesini tüketen ve arama için gereksiz bazı URL yollarını engellemek uygun olabilir. CSS, JavaScript, görsel veya ana içerik dosyalarını düşünmeden engellemeyin; Google sayfayı doğru işleyemeyebilir. Giriş koruması gereken alanlarda robots.txt güvenlik önlemi değildir.
Dizinden çıkarma farkı
Bir sayfanın dizinde görünmemesini istiyorsanız taranabilirken noindex kullanın veya uygun HTTP durumu döndürün. robots.txt ile engellenmiş sayfadaki noindex etiketi okunamayabilir. Tamamen silinen sayfa 404/410 dönebilir.
Sitemap ve kontrol
Sitemap URL'sini dosyada belirtmek keşfe yardımcı olabilir. Değişiklik sonrası önemli sayfaların tarama iznini ve Search Console raporunu izleyin. robots.txt dosyasının 200 ve düz metin olarak açıldığını doğrulayın.
Kaynak: Resmi belge.
