Streaming API, model yanıtını tamamı bitmeden parça parça göstermeyi sağlar. Kullanıcı daha erken metin görür; ancak toplam işlem süresi veya maliyetin mutlaka azalacağı anlamına gelmez. HTTP ve tarayıcı arasında akışın gerçekten iletildiğini test etmek gerekir.
Sunucu ve istemci akışı
Sağlayıcının akış seçeneğini etkinleştirin. Sunucuda gelen olayları doğru sırayla okuyup istemciye SSE veya uygun başka bir akışla iletin. Parça sınırının cümle veya JSON nesnesi sınırı olduğunu varsaymayın; olayları protokolüne göre birleştirin.
Tarayıcı bağlantısı koparsa sunucu işini iptal edip etmeyeceğinizi belirleyin. Ters proxy tamponlaması ve zaman aşımı yüzünden parçalar toplu gelebilir.
Hata ve ölçüm
İlk parça gecikmesi ile toplam süreyi ayrı ölçün. Akış ortasında sağlayıcı hatası geldiğinde kısmi metni “tam yanıt” gibi kaydetmeyin. Sonlandırma olayını ve kullanım bilgisini izleyin. Gizli verinin olay günlüklerine düşmesini önleyin.
Kaynaklar ve İleri Okuma
