robots.txt ile AI botlarını yönetme işlemi, 2026 itibarıyla teknik SEO’nun standart bir parçası hâline geldi. GPTBot, ClaudeBot, PerplexityBot ve Google-Extended gibi yapay zekâ tarayıcıları, sitenizin içeriğini büyük dil modellerini eğitmek veya arama sonuçlarında özetlemek için tarıyor. Bu yazıda robots.txt dosyanızda bu botları nasıl kontrol edeceğinizi, hangi botu neden engellemeniz ya da izin vermeniz gerektiğini ve WordPress üzerinde bunu adım adım nasıl uygulayacağınızı anlatıyoruz.
Klasik arama motoru botlarından farklı olarak AI botlarının bir kısmı içeriği model eğitimi için toplarken, bir kısmı da gerçek zamanlı olarak yanıt üretmek amacıyla (“retrieval” veya “answer engine” botları) tarama yapıyor. Bu ayrım, hangi botu engelleyip hangisine izin vereceğinize karar verirken kritik önem taşıyor.
robots.txt İle AI Botlarını Yönetmenin Temel Mantığı
robots.txt dosyası, arama motoru ve AI botlarına hangi dizinleri tarayıp taramaması gerektiğini bildiren basit bir metin dosyasıdır ve sitenizin kök dizininde (örneğin bilimmeraklisi.com/robots.txt) yer alır. Her bot için ayrı bir “User-agent” satırı tanımlayarak, o bota özel “Allow” veya “Disallow” kuralları yazabilirsiniz.
Önemli bir teknik detay: robots.txt bir zorunluluk değil, bir yönergedir. Saygılı botlar (GPTBot, ClaudeBot gibi büyük şirketlerin resmi botları) bu kurallara uyar; ancak kötü niyetli veya kural tanımayan botlar bu dosyayı görmezden gelebilir. Bu nedenle hassas içerikler için robots.txt tek başına bir güvenlik önlemi olarak görülmemeli.
Yaygın AI Botları ve Amaçları
| Bot Adı | Şirket | Amaç |
|---|---|---|
| GPTBot | OpenAI | Model eğitimi için içerik toplama |
| ChatGPT-User | OpenAI | Gerçek zamanlı kullanıcı sorgusu yanıtlama |
| ClaudeBot | Anthropic | Model eğitimi için içerik toplama |
| PerplexityBot | Perplexity | Arama/yanıt motoru için tarama |
| Google-Extended | Gemini model eğitimi (klasik Googlebot’tan ayrı) |
robots.txt İle AI Botlarını Yönetme: Örnek Kurallar
Aşağıdaki örnek, belirli AI botlarını engellerken arama motoru botlarına dokunmayan bir robots.txt yapısını gösteriyor. Kendi stratejinize göre botları buradan çıkarabilir veya ekleyebilirsiniz.
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Google-Extended
Disallow: /
User-agent: *
Allow: /
Sitemap: https://bilimmeraklisi.com/sitemap_index.xmlBu örnekte model eğitimi amaçlı botlar (GPTBot, ClaudeBot, Google-Extended) engellenirken, gerçek zamanlı yanıt motoru olarak çalışan PerplexityBot’a izin veriliyor. Bu tercih tamamen sitenizin trafik ve görünürlük stratejisine bağlı; herkes için tek bir “doğru” kombinasyon yoktur.
WordPress’te robots.txt Nasıl Düzenlenir?
- Rank Math veya benzeri bir SEO eklentisi kullanıyorsanız: SEO panelinden “Genel Ayarlar > robots.txt Düzenleyici” bölümüne gidin.
- Mevcut kuralları bozmadan, yukarıdaki gibi yeni User-agent bloklarını dosyanın sonuna ekleyin.
- Sitemap satırının robots.txt içinde hâlâ doğru URL’yi gösterdiğinden emin olun.
- Değişikliği kaydettikten sonra tarayıcıdan sitenizin /robots.txt adresine giderek kuralların yayına yansıdığını doğrulayın.
- Sunucu seviyesinde statik bir robots.txt dosyası varsa (FTP/dosya yöneticisiyle), eklenti üzerinden yapılan değişikliğin çakışmadığından emin olun.
Hangi Botları Engellemeli, Hangilerine İzin Vermelisiniz?
Bu karar, sitenizin gelir modeline ve hedeflerine göre değişir. Reklam gelirine dayalı bir site, model eğitimi amaçlı botları engelleyerek içeriğinin izinsiz kullanılmasını sınırlamak isteyebilir. Öte yandan görünürlük ve marka bilinirliği önceliğiyse, AI destekli arama motorlarında (Perplexity, ChatGPT arama gibi) görünmek için bazı botlara izin vermek daha mantıklı olabilir. Bu konu, daha önce ele aldığımız GEO (Generative Engine Optimization) rehberimizle doğrudan bağlantılı: AI aramalarında görünür olmak istiyorsanız ilgili botları tamamen engellemek bu hedefle çelişebilir.
Kontrol Listesi: robots.txt AI Bot Stratejisi
- Sitenizin gelir modeli reklam mı, marka görünürlüğü mü, yoksa ikisi birden mi belirleyin.
- Model eğitimi yapan botlarla (GPTBot, ClaudeBot) gerçek zamanlı yanıt botlarını (PerplexityBot, ChatGPT-User) ayrı değerlendirin.
- Kararınızı robots.txt dosyasına yazdıktan sonra canlı ortamda /robots.txt üzerinden doğrulayın.
- Sunucu access log’larında bu botların gerçekten kurallara uyup uymadığını periyodik olarak kontrol edin.
- Stratejinizi üç ayda bir gözden geçirin; yeni botlar ve kurallar sık sık güncelleniyor.
Performans ve Güvenlik Notları
Yoğun AI bot trafiği, özellikle paylaşımlı hosting ortamlarında sunucu kaynaklarını zorlayabilir. Bazı botların istek sıklığı yüksek olduğunda, Core Web Vitals performansını dolaylı olarak etkileyebilecek sunucu yükü artışı gözlemlenebilir. Bu durumda robots.txt seviyesinde engelleme yeterli gelmezse, sunucu veya CDN seviyesinde User-agent bazlı hız sınırlama (rate limiting) uygulanması değerlendirilebilir.
Ayrıca robots.txt kurallarının, sitenizin XML site haritasıyla çelişmediğinden emin olun; bir sayfa sitemap’te yer alırken ilgili bot için Disallow kuralına takılıyorsa, botun o sayfayı hiç görmemesi normaldir ve bu kasıtlı bir tercihse sorun değildir.
Yaygın Hatalar: robots.txt ile AI Botlarını Yönetirken Nelere Dikkat Etmeli?
Pratikte en sık karşılaşılan hata, “User-agent: *” bloğu içine yanlışlıkla AI botlarını da engelleyen genel bir kural yazmak ve bunun sonucunda arama motoru botlarının da etkilenmesidir. Her botun kuralı ayrı bir User-agent bloğunda tanımlanmalı; genel blok yalnızca varsayılan davranışı belirlemeli.
Bir diğer yaygın hata, robots.txt dosyasını güncelledikten sonra hiç doğrulama yapmamaktır. Dosyanın sözdizimi hatası içermesi durumunda bazı botlar tüm siteyi taranamaz olarak yorumlayabilir. Değişiklikten sonra Google Search Console’daki robots.txt test aracını veya benzer bir doğrulama aracını kullanmak, bu tür hataları erken yakalamanın en pratik yolu.
Son olarak, statik bir robots.txt dosyası ile SEO eklentisinin oluşturduğu dinamik robots.txt çıktısı aynı anda var olduğunda çakışma yaşanabilir. WordPress’te genellikle SEO eklentisi (Rank Math gibi) sanal bir robots.txt üretir; sunucuda fiziksel bir robots.txt dosyası da varsa hangisinin öncelikli olduğunu kontrol etmek gerekir.
AI Botlarının Erişim Loglarını Takip Etmek
robots.txt kurallarını yazmak tek başına yeterli değildir; sunucu erişim loglarında (access log) bu botların gerçekten hangi sayfalara istek attığını periyodik olarak incelemek, stratejinizin işleyip işlemediğini gösterir. Paylaşımlı hosting ortamlarında bu loglara genellikle kontrol panelinden veya hosting sağlayıcının sunduğu araçlardan erişilebilir. Yoğun bot trafiği fark ederseniz, ilgili User-agent için kuralları sıkılaştırmak veya sunucu seviyesinde ek önlemler almak gerekebilir.
Özetle, robots.txt ile AI botlarını yönetme süreci tek seferlik bir ayar değil, sürekli izlenmesi gereken bir alışkanlık olarak ele alınmalı. Yeni botlar düzenli olarak ortaya çıkıyor ve mevcut botların davranışları zaman içinde değişebiliyor; bu nedenle üç ayda bir hem kuralları hem de erişim loglarını gözden geçirmek, stratejinizin güncel kalmasını sağlar.
Sıkça Sorulan Sorular
robots.txt ile AI botlarını yönetme neden önemli?
Çünkü hangi AI botunun içeriğinizi hangi amaçla kullandığını kontrol etmenizi sağlar; bu da hem telif hem de görünürlük stratejiniz açısından belirleyici bir adımdır.
robots.txt kuralına uymayan botlar var mı?
Evet, robots.txt bir yönergedir, zorunluluk değildir. Büyük ve tanınmış AI şirketlerinin resmi botları genellikle kurallara uyar, ancak tüm botların uyacağı garanti edilemez.
GPTBot’u engellersem ChatGPT’de hiç görünmez miyim?
GPTBot genellikle model eğitimi için kullanılır; ChatGPT araması OAI-SearchBot ile ilişkilidir; ChatGPT-User kullanıcı tarafından başlatılan sayfa ziyaretleri içindir. Bu nedenle botları ayrı ayrı değerlendirmek gerekir.
robots.txt değişikliği hemen etkili olur mu?
Değişiklik dosyaya kaydedildiği anda geçerli olur, ancak botların dosyayı yeniden okuma sıklığı değişebilir; bu yüzden etkiyi görmek biraz zaman alabilir.
Küçük bir blog için AI botlarını yönetmek gerekli mi?
Zorunlu değildir, ancak sunucu kaynaklarını korumak ve içeriğinizin nasıl kullanıldığını bilinçli biçimde kontrol etmek isteyen her site için önerilen bir uygulamadır.
Kaynaklar ve İleri Okuma
Resmî dokümantasyon
Sitedeki ilgili rehberler
- 301 Yönlendirme SEO Açısından Nasıl Yapılır?
- Duplicate Content Sorunu Nasıl Çözülür?
- Core Web Vitals Nasıl İyileştirilir?
Google-Extended ayrı HTTP crawler değil, mevcut Google taramasının belirli AI kullanımlarını yöneten robots token’ıdır; Google Search sıralamasını doğrudan belirlemez. OpenAI arama için OAI-SearchBot, kullanıcı talebiyle erişim için ChatGPT-User kullanır; kullanıcı kaynaklı erişim robot taramasıyla aynı robots davranışı değildir. Claude-SearchBot ve Claude-User rollerini de ClaudeBot eğitim izninden ayrı okuyun. En özel eşleşen grubun kuralları geçerli olabilir; genel * grubunun özel gruba otomatik eklenmesini varsaymayın. robots.txt taramayı yönlendirir, erişim güvenliği veya kesin dizinden çıkarma sağlamaz.
Kaynak: OpenAI — yayıncı ve crawler rehberi.
