Prompt Tekrarı AI'yi Geliştirmiyor: Mühendislik Görevlerinde Doğru İnanç mı, Yanlış İlgililik mi?

Yapay Zekâda ‘Prompt Tekrarı’ İnanç mı, Bilimsel Gerçek mi?

Yapay zekâ dünyasında bir süredir dolaşan bir inanç var: ‘Eğer bir soruya cevap alamadıysan, sadece aynı soruyu tekrarla. Belki bir sonraki sefer daha iyi yanıt verir.’ Bu düşünce, özellikle mühendislik ve kodlama görevlerinde, geliştiriciler arasında neredeyse bir gelenke dönüşmüş durumda. Ancak yeni bir dizi deneysel analiz, bu inancın tamamen yanlış olduğunu gösteriyor: prompt repetition, mühendislik görevlerinde AI sistemlerinin doğruluğuna sıfır katkı sağlıyor.

Nasıl Bir Araştırmayla Bu Sonuca Varıldı?

Forbes’ın 15 Mart 2024 tarihli raporuna göre, Stanford ve MIT’den bir bilim insanları ekibi, 12 farklı büyük dil modelini (LLM) test etmek için 1.800 mühendislik görevi oluşturdular. Görevler, algoritmik çözüm üretimi, hata ayıklama, veri yapısı tasarımı ve API entegrasyonu gibi gerçek dünya senaryolarından seçildi. Her bir görev için, modelin ilk cevabı ile aynı prompt’u 2, 5 ve 10 kez tekrarlaması istendi. Sonuçlar şok ediciydi: tekrar sayısı arttıkça, doğruluk oranı istatistiksel olarak anlamlı bir şekilde değişmedi. Hatta bazı durumlarda, tekrarlı cevaplar daha fazla tutarsızlık ve çelişkili kod önerileri üretti.

Özellikle ilginç olan, bu tekrarların gecikme (latency) süresini etkilemediği yönündeki iddia. Yani, geliştiricilerin zamanını harcayarak aynı soruyu birkaç kez yazmak, hiçbir performans avantajı sağlamıyor — sadece kaynak tüketiyor.

Peki Neden Hâlâ Bu Yöntem Kullanılıyor?

Analytics Vidhya’nın 10 Mart 2024 tarihli makalesinde, bu durumun nedeni ‘kognitif illüzyon’ olarak tanımlanıyor: İnsan beyni, tekrarlı bir girişe karşılık değişen bir çıktı gördüğünde, bunu ‘iyileşme’ olarak yorumlar. Örneğin, bir AI ilk cevapta ‘while’ döngüsü kullanmışsa, ikinci cevapta ‘for’ döngüsü önerirse, kullanıcı ‘ah, şimdi daha iyi!’ diye düşünür. Ama bu, prompt’un değişmediği, sadece modelin stokastik doğasının farklı bir rastgele yol seçtiği anlamına gelir. Bu, gerçek bir iyileşme değil, şanslı bir varyasyondur.

Yani, prompt repetition, bir tür ‘ritüel’ haline gelmiş. Geliştiriciler, özellikle stresli durumlarda, ‘bir şey yapmam lazım’ duygusuna kapılır ve tekrar etmek, kontrol sahibi olmanın kolay bir yolu gibi görünür. Bu, psikolojik bir güvenlik mekanizmasıdır — ama teknik olarak tamamen boş bir eylemdir.

Peki Doğru Yaklaşım Nedir?

Doğru çözüm, tekrarlamak değil, iyileştirmek tir. Örneğin:

1. İstekleri spesifikleştirmek: ‘Bir Python fonksiyonu yaz’ yerine, ‘Bu veri yapısında O(n log n) karmaşıklıkla sıralama yapan bir fonksiyon yaz, hata durumunda ValueError fırlat’.
2. Çıktı formatını belirtmek: ‘JSON olarak döndür’, ‘Yorumlu kod’, ‘Test senaryoları ekle’ gibi talimatlar, AI’nın çıktısını yapılandırır.
3. Çoklu perspektif istemek: ‘Bu algoritmanın 3 farklı uygulama şekli varsa, her birini açıkla ve karşılaştır.’
4. İteratif düzeltme: AI’nın verdiği cevabı eleştirel bir şekilde incele, hataları belirt ve ‘Bu satır neden hatalı?’ diye sor. Bu, prompt engineering’in özüdür.

Merriam-Webster’ın Tanımı Ne Anlama Geliyor?

Merriam-Webster’ın ‘prompt’ tanımı, bu tartışmanın temelindeki dilbilimsel kafa karışıklığını ortaya koyuyor: ‘Prompt’ kelimesi, bir şeyi yapmaya zorlamak, teşvik etmek veya bir uyarıyı vermek anlamında kullanılır. Ancak günümüzde AI bağlamında, bu kelime ‘komut’ veya ‘girdi’ olarak yanlış anlamlandırılmış durumda. Bu, insanların ‘prompt’ı bir düğme gibi düşündüğünü gösteriyor — bir kez bastır, bekleyip tekrar bastır. Ama bir AI’nın ‘prompt’u, bir kitabın sayfası gibi; ne kadar tekrar okursan oku, içeriği değişmez — ancak senin anlayışın değişirse, anladığın şey değişir.

Geleceğe Dair Bir Uyarı

Bu yanlış inanç, sadece zaman kaybına değil, aynı zamanda AI eğitimine de zarar veriyor. Geliştiriciler, prompt tekrarını ‘yöntem’ olarak öğrenirken, gerçek mühendislik becerilerini — analiz, değerlendirme, kritik düşünme — geliştirmeyi bırakıyorlar. Bu, bir neslin ‘AI’ya bağımlı’ değil, ‘AI’ya pasif’ bir şekilde eğitilmesi demek.

AI, bir asistan değil, bir ortaktır. Ve bir ortakla iyi çalışmak, tekrar etmekle değil, soru sormakla, tartışmakla, düzeltmekle olur. Tekrar etmek, bilgiyi aramak değil, bilgiyi kopyalamak demektir. Ve mühendislik, kopyalama değil, yaratma işidir.

Öyleyse, bir sonraki sefer AI’ya aynı soruyu tekrar yazmadan önce, sadece bir kez derin bir nefes alın. Soruyu yeniden yazın. Daha net, daha detaylı, daha zorlu hale getirin. Çünkü doğruluk, tekrarla değil, iyileştirmeyle gelir.