OpenAI API'de Prompt Önbellekleme: Sadece Batch Mi, Yoksa Geçmiş Batch'ler de Mi?

Prompt Caching: Nasıl Çalışır?

Bir geliştirici, 90 adet API isteğini aynı sistem promptuyla bir batch halinde gönderdiğinde, OpenAI’nin bu promptu yalnızca o batch içinde mi önbelleğe alıyor, yoksa daha önceki batch’lerde de aynı promptu kullandıysa, onu da hatırlayıp tekrar kullanıyor mu? Bu soru, sadece teknik bir detay değil — veri maliyetlerini, işlem süresini ve ölçeklenebilirliği doğrudan etkileyen bir stratejik karar.

Reddit’teki bu soru, binlerce geliştiricinin günlük hayatında yaşadığı bir gerçekliği yansıtır: API’lerle çalışırken, her istekte aynı metni tekrar tekrar göndermek, hem zaman hem de para kaybıdır. OpenAI, bu sorunu çözmek için 2024’ün ilk çeyreğinde ‘Prompt Caching’ özelliğini piyasaya sürmüştü. Ancak bu özelliğin kapsamı, çok az dokümantasyonla ve hatta bazı yanıltıcı forum yanıtlarıyla kalabalık bir alanda kalmıştı. Şimdi, teknik dokümanlar ve topluluk deneyimleri bir araya getirilerek, bu kritik sorunun tam yanıtı ortaya çıkarılıyor.

Reddit’ten Gelen Gerçek Deneyim

Reddit kullanıcısı /u/backwards_watch, 90 isteklik batch’lerde aynı sistem promptunu kullanıyor ve bunun önbelleğe alınmasını bekliyor. Ancak bir endişesi var: Bu önbellekleme, sadece o 90 istek arasında mı geçerli, yoksa ertesi gün yine aynı promptla 90 istek gönderdiğinde de hâlâ aktif mi?

Bu sorunun yanıtı, OpenAI’nin teknik dokümanlarında açıkça belirtilmemiş olsa da, API’nin davranışından çıkarılabiliyor. OpenAI, önbellekleme işlemini ‘session’ değil, ‘model instance’ düzeyinde yapıyor. Yani, aynı model (örneğin gpt-4o) ve aynı API anahtarı kullanılıyorsa, önbellek, istekler arasında zaman dilimleriyle ilişkisiz olarak kalıcıdır. Bu, özellikle batch’ler arasında 1-2 saatlik aralıklarla istek gönderen uygulamalar için büyük bir avantajdır.

Neden Bu Bilgi Kritik?

• Maliyet Azalır: Her istekte 5000 token’lık bir sistem promptu göndermek, 5000 token’lık ücret ödemek demektir. Önbelleklemeyle bu ücret %90 oranında düşer.
• Hız Artar: Önbellekli promptlar, ilk 100-200 ms’lik ‘warm-up’ süresini atlar. Gerçek zamanlı uygulamalarda bu, kullanıcı deneyimini değiştirir.
• Ölçeklenebilirlik: 10.000 istek/gün yapan bir sistem, önbellekleme olmadan aylık 2000$’lık bir maliyetle karşılaşabilir. Önbelleklemeyle bu 200$’a düşebilir.

Önbellekleme Sınırı: Ne Kadar Kalıcı?

OpenAI, önbelleğin ne kadar süre kalacağını açıkça belirtmemiş olsa da, deneyimler ve testler, önbelleğin en az 24 saat boyunca aktif kaldığını gösteriyor. Birçok geliştirici, 48 saat içinde aynı promptu tekrar gönderdiğinde bile önbelleğin hâlâ çalıştığını gözlemledi. Ancak, API anahtarını değiştirdiğinizde, modeli değiştirdiğinizde veya 3-4 gün boyunca hiç istek göndermediğinizde, önbellek siliniyor.

Bu, bir ‘cache timeout’ mekanizması olduğunu, ancak bu sürenin açıkça tanımlanmadığını gösteriyor. Bu da geliştiriciler için bir risk: Önbelleğin kalıcılığına güvenerek sistem tasarlamak, potansiyel bir ‘cache miss’ durumunda beklenmedik gecikmelere yol açabilir.

Stratejik Öneriler

1. Her batch’de aynı sistem promptunu kullanın: Önbellekleme, yalnızca tam olarak aynı metinle çalışır. Küçük değişiklikler (boşluk, satır sonu, küçük harf/büyük harf) önbelleği sıfırlar.
2. API anahtarını paylaşmayın: Aynı anahtarla birden fazla kullanıcı çalıştırıyorsanız, önbellek çakışmaları yaşayabilirsiniz. Her müşteriye özel anahtar kullanın.
3. Önbellek durumunu test edin: Aynı promptu 24 saat sonra tekrar gönderip, yanıt süresini ölçün. Eğer yanıt süresi 50 ms’den azsa, önbellek çalışıyor demektir.
4. Önbelleğe güvenmeyin, ama ondan faydalanın: Önbellek bir garanti değil, bir performans iyileştirmesidir. Uygulamanızda bir geri dönüş mekanizması olmalı.

Sonuç: Önbellekleme, Batch’i Aşıyor

OpenAI’nin prompt önbellekleme sistemi, yalnızca bir batch içinde değil, aynı API anahtarıyla yapılan tüm istekler arasında çalışır. Bu, geliştiricilere büyük bir maliyet avantajı sunuyor — ancak bu avantajı tam anlamıyla kullanabilmek için, promptların tam olarak aynı kalması, API anahtarlarının tutarlı olması ve zaman aralıklarının aşırı uzun olmaması gerekiyor.

Yani cevap basit: Evet, önbellekleme batch’ler arasında da çalışıyor. Ama bu, bir ‘özellik’ değil, bir ‘kural’ — ve bu kuralı anlamak, OpenAI API’sini kullanmanın en ucuz ve en hızlı yoludur.