WordPress kurulumlarında /robots.txt adresi fiziksel dosya olmadan da üretilebilir. Dosyayı düzenlemeden önce sitenin şu anda ne sunduğunu tarayıcıda açın; SEO eklentisi veya sunucu kuralı farklı çıktı oluşturuyor olabilir.
Önce görünürlük ayarını kontrol edin
WordPress Ayarlar → Okuma bölümündeki 'Arama motorlarının bu siteyi indekslemelerine engel olmaya çalış' seçeneğinin amacınıza uygun olduğundan emin olun. Canlı yayın sitesinde yanlışlıkla işaretli kalması dizine eklemeyi etkileyebilir. Dosyanın mevcut içeriğini yedekleyin.
Kural ekleme
Fiziksel robots.txt kullanıyorsanız kök dizine yükleyin; hostingin dosyayı gerçekten sunduğunu doğrulayın. User-agent, Allow ve Disallow satırlarının yollarını tek tek test edin. Yönetim alanı gibi yollarda varsayılan WordPress davranışını inceleyin; sitenin CSS/JS kaynaklarını engellemeyin.
Noindex ile farkı
robots.txt taramayı yönetir, gizlilik veya dizinden çıkarma garantisi vermez. Özel sayfa için oturum kontrolü; dizine girmemesi gereken herkese açık sayfa için taranabilir noindex veya uygun durum kodu gerekir. Engellenen URL'deki noindex etiketi bot tarafından görülemeyebilir.
Yayın sonrası kontrol
/robots.txt adresini gizli pencerede yeniden açın. Sitemap bağlantısını, önemli yazıların tarama iznini ve Search Console URL Denetimi sonucunu karşılaştırın. SEO eklentisi ile fiziksel dosyanın çakışmadığından emin olun.
Kaynak: Resmi belge.
