AI moderation, kullanıcı metni veya görselini belirli risk kategorileri için sınıflandırır. Tek bir skor tüm güvenlik kararlarının yerini tutmaz; yanlış pozitifler ve kaçan ihlaller için insan incelemesi ve itiraz yolu gerekir.
İnceleme hattı
İçeriği yayımlamadan veya işlemden geçirmeden önce ilgili moderasyon modeline gönderin. Sonuçtaki kategori ve işaretleri ürün politikanızla eşleştirin. Her kategori için izin ver, incelemeye al ve engelle gibi kararları açıkça tanımlayın.
İçerik ve karar kaydında gereksiz kişisel veriyi tutmayın. Tekrarlanan ihlaller için hesap düzeyinde önlem düşünün, ancak sınıflandırıcı hatasını otomatik kalıcı ceza haline getirmeyin.
Ölçme ve geri bildirim
Gerçek örneklerden izinli bir değerlendirme kümesi oluşturun. Kaçan zararlı içerik, yanlış engel ve insan inceleme yükünü ayrı ölçün. Model veya eşik değiştiğinde yeniden test edin. Moderasyon isteği başarısız olursa hangi içeriğin bekleyeceğini ürün riskine göre önceden belirleyin.
Kaynaklar ve İleri Okuma
