Bir öğretmen, öğrencinin ödevini Turnitin’e yükler ve sistem “%42 yapay zeka” der. Öğrenci metni kendisinin yazdığını söyler. Bu senaryo artık istisna değil: yapay zekâ dedektörleri, tamamen insan eliyle yazılmış metinleri de belirli oranlarda “muhtemelen yapay zekâ” olarak işaretliyor ve bu oranlar üreticilerin kendi açıkladığı verilerde bile sıfır değil. Benzer durum iş dünyasında da yaşanıyor: bir editör, serbest yazarın teslim ettiği metni kurumsal içerik denetim aracından geçirdiğinde yüksek skor alıyor, yazar ise metni satır satır kendisinin yazdığını, sadece dilbilgisi aracıyla düzelttiğini söylüyor. Bu yazıda üç üreticinin/araştırmacının kendi yayımladığı rakamlara bakarak bu skorların ne kadar güvenilir olduğunu ve yanlış işaretlenmenin hangi durumlarda arttığını somut biçimde ortaya koyuyoruz.
Yapay Zekâ Dedektörleri Ne Ölçer, Nasıl Karar Verir?
Turnitin, GPTZero, Originality.ai gibi araçların büyük çoğunluğu metni doğrudan “yapay zekâ mı değil mi” diye sınıflandırmaz; metnin istatistiksel örüntüsünü büyük dil modellerinin ürettiği metinlerle karşılaştırır. Burada iki temel ölçüt öne çıkar:
- Perplexity (şaşırtıcılık): Bir sonraki kelimenin ne kadar “tahmin edilebilir” olduğunu ölçer. Yapay zekâ modelleri istatistiksel olarak en olası kelimeyi seçme eğiliminde olduğu için düşük perplexity üretir.
- Burstiness (dalgalanma): Cümle uzunluğundaki ve karmaşıklığındaki değişkenliği ölçer. İnsan yazısı genelde kısa-uzun cümleler arasında daha düzensiz gidip gelir; yapay zekâ çıktısı daha tekdüze bir ritim taşır.
Sorun şu: bu iki ölçüt “yapay zekâ imzası” değil, birer olasılık tahminidir. Resmi, sade ve tekdüze yazan her insan da düşük perplexity ve düşük burstiness üretebilir. Dedektör bunu ayırt edemez; sadece istatistiksel benzerliğe bakar. Bazı araçlar buna ek olarak modelin kendi ürettiği referans metinlerle karşılaştırmalı bir sınıflandırıcı (classifier) katmanı da kullanır; bu katman, elindeki örnek veri setinde hangi örüntülerin “muhtemelen yapay zekâ” olduğunu öğrenir ve yeni metni bu öğrenilmiş örüntüyle kıyaslar. Eğitim verisi ne kadar dar veya tek tip bir yazı tarzına dayanıyorsa, o tarzın dışında kalan insan metinleri de o kadar kolay yanlış sınıflandırılır.
Sayılarla Güvenilirlik: Üreticilerin Kendi Açıkladığı Veriler
Turnitin’in Kendi Yayımladığı Yanlış Pozitif Oranları
Turnitin, kendi resmi blog yazısında yanlış pozitif oranının “yüzde birin altında” olduğunu ancak “sıfır olmadığını” açıkça kabul ediyor. Şirketin Ürün Direktörü Annie Chechitelli’nin kaleme aldığı güncelleme yazısında ise daha somut rakamlar var: 38,5 milyon gönderim incelendiğinde gönderimlerin %9,6’sında %20’nin üzerinde yapay zekâ yazısı tespit edilmiş, %3,5’inde ise metnin neredeyse tamamı (%80-100 arası) yapay zekâ üretimi olarak işaretlenmiş.
Asıl kritik bulgu şurada: yanlış pozitifler, skorun düşük olduğu bölgede (özellikle %20’nin altında) belirgin şekilde artıyor. Turnitin bu geri bildirim üzerine iki değişiklik yaptı: %20 altı sonuçlara uyarı yıldızı eklendi ve minimum kelime şartı 150’den 300’e çıkarıldı. Şirketin açıkladığı rakamlara göre belge düzeyinde (%20 üstü skorlarda) yanlış pozitif oranı %1’in altında kalırken, cümle düzeyinde bu oran yaklaşık %4’e çıkıyor — yani sistem tek tek cümleleri değerlendirirken belge bütününe göre çok daha fazla hata yapıyor.
OpenAI Kendi Dedektörünü Neden Kapattı?
OpenAI, Ocak 2023’te kendi “AI Text Classifier” aracını tanıttı ve altı ay sonra, 20 Temmuz 2023’te sessizce kapattı. Şirketin kendi resmi duyurusunda paylaştığı performans rakamları şöyleydi: araç, yapay zekâ tarafından yazılmış metinlerin yalnızca %26’sını doğru şekilde “muhtemelen yapay zekâ” olarak işaretleyebiliyordu (true positive rate), buna karşılık tamamen insan eliyle yazılmış metinlerin %9’unu yanlışlıkla yapay zekâ ürünü olarak damgalıyordu (false positive rate). Bir başka deyişle, kendi geliştiricisinin sınıflandırdığı ölçekte araç, doğru tahminden çok daha fazla belirsizlik üretiyordu. OpenAI aracı kapatırken gerekçe olarak açıkça “düşük doğruluk oranını” gösterdi ve daha güvenilir bir alternatif için geri bildirim topladığını belirtti.
Stanford Araştırması: Anadili İngilizce Olmayan Yazarlar Neden Daha Çok Cezalandırılıyor?
Stanford ekibinden (Liang ve arkadaşları) 2023’te yayımlanan ve akademik ortamda geniş yankı uyandıran “GPT detectors are biased against non-native English writers” başlıklı çalışma, yaygın kullanılan GPT dedektörlerinin TOEFL sınavı için yazılmış gerçek (insan yazımı) İngilizce denemeleri sistematik olarak yanlış sınıflandırdığını gösterdi. Araştırmacılar, ana dili İngilizce olmayan yazarların ürettiği metinlerin dedektörler tarafından tutarlı biçimde “muhtemelen yapay zekâ” olarak işaretlendiğini, buna karşın anadili İngilizce olan yazarların denemelerinin büyük çoğunlukla doğru (insan) olarak sınıflandırıldığını tespit etti. Nedeni teknik: sınırlı kelime dağarcığıyla yazan biri, doğal olarak daha düşük perplexity üretiyor — tam da dedektörlerin “yapay zekâ işareti” olarak okuduğu örüntü. Ekip, bulgularının dedektörlerin değerlendirme ve eğitim ortamlarında kullanılmasına karşı temkinli olunması gerektiğini vurguladı.
İnsan Metni Neden Yanlış İşaretleniyor? Somut Nedenler
Yukarıdaki üç kaynak birleştirildiğinde, yanlış pozitiflerin rastgele değil, belirli yazı özelliklerinde yoğunlaştığı görülüyor:
- Kısa ve düşük kelime sayılı metinler: Turnitin’in minimum kelime şartını 300’e çıkarmasının nedeni tam olarak bu — kısa metinlerde istatistiksel örüntü güvenilir sonuç vermiyor.
- Sınırlı kelime dağarcığı ile yazılan resmi/akademik metin: Stanford çalışmasının gösterdiği gibi, öngörülebilir kelime seçimi düşük perplexity anlamına geliyor.
- Grammarly, Hemingway gibi düzenleme araçlarıyla “temizlenmiş” metin: Cümle yapısını sadeleştiren ve tekrarları azaltan düzenleme araçları, metnin istatistiksel dalgalanmasını (burstiness) azaltarak dedektörlerin “yapay zekâ” eşiğine yaklaştırabiliyor.
- Şablon veya form yazısı (iş mektubu, prosedür metni, teknik dokümantasyon): Bu tür metinler yapısı gereği tekdüze cümle ritmi taşır.
- Cümle başı/sonu tekrar eden akademik üslup: Turnitin’in belge başı/sonu analiz yöntemini iyileştirmesinin nedeni de bu bölgelerde hata oranının yüksek çıkmasıydı.
Dedektörler Arasındaki Tutarsızlık: Aynı Metin, Farklı Sonuç
Aynı metni Turnitin, GPTZero, Originality.ai ve Copyleaks gibi farklı araçlara verdiğinizde çoğu zaman birbirinden uzak skorlar çıkar. Bunun nedeni her aracın kendi eğitim verisiyle, kendi eşik değeriyle ve kendi perplexity/burstiness hesaplama yöntemiyle çalışması. Turnitin ağırlıklı olarak akademik metinler üzerinde eğitildi ve kurumsal kullanım için “belge + cümle” ayrımı sunuyor. GPTZero, karma bir veri setiyle çalışıyor ve genellikle daha agresif (daha sık pozitif) sonuç verdiği bildiriliyor. Originality.ai ise pazarlama ve içerik üretimi sektörüne yönelik olduğu için eşik değerleri farklı ayarlanmış durumda. Sonuç: bir metnin “yapay zekâ skoru”, hangi aracın seçildiğine bağlı olarak değişen göreli bir sayı — evrensel, sabit bir gerçeklik ölçütü değil. Bu yüzden tek bir araçtan çıkan tek bir yüzdeyi nihai hüküm gibi sunmak, üreticilerin kendi verileriyle bile örtüşmüyor.
Özgün Karşılaştırma: Üç Kaynağın Yanlış Pozitif Verileri Yan Yana
Aşağıdaki tablo, yukarıda aktarılan üç birincil kaynaktaki sayısal verileri aynı ölçekte karşılaştırmak için hazırlandı. Amaç, hangi aracın “en kötü” olduğunu ilan etmek değil; farklı ölçüm yöntemlerinin ne kadar farklı sonuç verdiğini somutlaştırmak.
| Kaynak / Araç | Açıklanan Yanlış Pozitif Oranı | Ölçüm Birimi | Güncel Durum |
|---|---|---|---|
| Turnitin (belge düzeyi, %20 üstü skor) | %1’in altı | Belge bazlı | Aktif, uyarı etiketiyle sunuluyor |
| Turnitin (cümle düzeyi) | ~%4 | Cümle bazlı | Aktif, cümle skoru ayrı gösteriliyor |
| OpenAI AI Text Classifier | %9 | Belge bazlı (insan metni üzerinde) | Kapatıldı (Temmuz 2023) |
| Stanford çalışması (non-native TOEFL denemeleri) | Test edilen dedektörlerin çoğunda %50’nin üzerinde yanlış sınıflandırma | Belge bazlı, spesifik popülasyon | Akademik bulgu, ticari araç değil |
Buradan çıkan basit bir sentez var: yanlış pozitif oranı, “genel popülasyon” üzerinden ölçüldüğünde düşük görünse de (Turnitin’in %1 altı iddiası gibi), belirli bir alt grup (kısa metin yazan, anadili farklı olan, sade yazan) üzerinden ölçüldüğünde bu oran birkaç kat, hatta on kat artabiliyor. Yani “ortalama doğruluk” rakamı, riskin kimde yoğunlaştığını gizliyor.
Öğretmenler ve Editörler İçin Kontrol Listesi
Bir metnin sadece dedektör skoruna bakarak yapay zekâ ürünü olduğuna karar vermek, yukarıdaki verilere göre riskli. Karar öncesi şu adımlar izlenebilir:
- Skoru tek başına delil olarak kullanmayın; metnin taslak geçmişi, düzenleme geçmişi (Google Docs sürüm geçmişi gibi) varsa kontrol edin.
- %20 altı skorlarda Turnitin’in kendi uyarısını dikkate alarak ek doğrulama isteyin.
- Kısa metinlerde (300 kelime altı) dedektör sonucuna daha az ağırlık verin.
- Öğrenci veya yazarla doğrudan konuşarak konu hakkında sözlü soru sorun; gerçek yazar süreci genellikle anlatabilir.
- Anadili farklı olan yazarlarda ekstra temkinli olun; Stanford verisi bu grupta hata oranının belirgin yüksek olduğunu gösteriyor.
Yazarlar ve Öğrenciler Ne Yapabilir?
Yanlış işaretlenme riskini tamamen ortadan kaldıran bir yöntem yok, ama riski azaltan uygulanabilir adımlar var:
- Taslak sürecini belgeleyin: Google Docs’ta “Sürüm geçmişini gör” özelliği, metnin zaman içinde nasıl geliştiğini gösterir ve itiraz durumunda kanıt oluşturur.
- Kısa metinleri (özellikle 300 kelime altı) mümkünse birleştirerek teslim edin; istatistiksel güvenilirlik artar.
- Yapay zekâ destekli düzenleme araçlarını (dilbilgisi/üslup düzeltme) kullandıysanız bunu şeffaf şekilde belirtin.
- İtiraz hakkınız olduğunu unutmayın: Turnitin’in kendi açıklamasına göre skor, öğretmenlere karar verme yetkisi vermek için bir veri noktasıdır, otomatik yaptırım aracı değildir.
Farklı yapay zekâ araçlarının hangi iş için ne kadar uygun olduğunu daha geniş çerçevede görmek isterseniz, AI araçları karşılaştırması yazımızda dedektörler dışındaki kategorileri de ele aldık; farklı araçların aynı görevde neden tutarsız sonuç verdiğini orada da görebilirsiniz.
Sonuç
Turnitin’in kendi rakamları, OpenAI’nin kendi aracını kapatma gerekçesi ve Stanford’un akademik bulgusu aynı noktada birleşiyor: yapay zekâ dedektörleri olasılık tahmini yapan araçlardır, hukuki veya akademik anlamda tek başına kanıt sayılabilecek bir sistem değildir. Ölçülen yanlış pozitif oranları küçük görünse bile, kısa metin yazan, sade üslup kullanan veya anadili farklı olan kişiler için bu oran anlamlı ölçüde yükselebiliyor. Bu nedenle bir dedektör skoru, tek başına karar değil, daha geniş bir değerlendirmenin sadece bir parçası olarak ele alınmalı.
Sık Sorulan Sorular
Yapay zekâ dedektörleri %100 doğru mu?
Hayır. Turnitin’in kendi açıkladığı verilere göre belge düzeyinde yanlış pozitif oranı %1’in altında olsa da sıfır değil; OpenAI kendi aracını düşük doğruluk oranı (%26 doğru tespit, %9 yanlış pozitif) nedeniyle tamamen kapattı.
Turnitin skoru %20’nin altındaysa metin güvenli mi sayılır?
Turnitin, %20 altı skorlarda yanlış pozitif riskinin arttığını kendisi belirtiyor ve bu skorlara uyarı yıldızı ekliyor; düşük skor tek başına “insan yazımı doğrulandı” anlamına gelmez, ek dikkat gerektirir.
Anadili İngilizce olmayan biri neden daha sık yanlış işaretleniyor?
Stanford araştırmasına göre sınırlı kelime dağarcığıyla yazılan metinler istatistiksel olarak daha öngörülebilir (düşük perplexity) oluyor; dedektörler bu örüntüyü yapay zekâ imzasıyla karıştırıyor.
Bir metin yanlışlıkla yapay zekâ olarak işaretlenirse ne yapılmalı?
Taslak/sürüm geçmişi gibi yazım sürecine dair kanıt sunulabilir, düşük skorlu (%20 altı) sonuçlarda ek insan değerlendirmesi istenebilir; sistemin kendisi de skoru tek başına yaptırım aracı olarak önermiyor.
Hiçbir yapay zekâ dedektörüne güvenilmemeli mi?
Dedektörler tek başına başvurulacak nihai kanıt sayılmamalı; üreticilerin kendi yayımladığı yanlış pozitif verileri, sonuçların bağlamla (metin uzunluğu, yazarın dil geçmişi, taslak süreci) birlikte değerlendirilmesi gerektiğini gösteriyor.
