Cadmus: Küçük Modelle Büyük Akıl Yürütme – Program Üretiminde Devrim Mi?

Küçük Bir Model, Büyük Bir İddia: GPT-5’i Yenen Program Üretim Sistemi

Yapay zekada her yeni adım, genellikle daha büyük modeller, daha fazla veri ve daha pahalı hesaplama gücüyle tanımlanır. Ama Apple’da çalışan araştırmacılar Russ Webb ve Jason Ramapuram, tam tersini kanıtladılar: küçük, temiz ve tamamen kontrol edilebilir bir sistem, büyük diller modellerinden daha iyi performans gösterebilir. Onların geliştirdiği Cadmus sistemi, sadece 200 dolarlık bir hesaplama maliyetiyle, GPT-5’in bile başarısız kaldığı bir görevde %100 doğruluk oranı sağladı. Bu sadece bir teknik başarı değil; yapay zekanın temelindeki varsayımları sorgulayan bir felsefi darbe.

Neden Cadmus? Büyük Modellerin Kötü Yönü

Geçen on yılda program sentezindeki ilerlemeler, GPT-4, Claude 3 veya Gemini gibi devasa dil modellerine dayanıyordu. Bu modeller, milyonlarca parametreyle, yüzlerce gigabayt bellekle çalışır. Ama bu büyüklük, bir yandan güçlüyken, diğer yandan görünmez bir karanlık yaratır: Ne öğrendiğini anlayamazsın. Hangi token neden yanlış tahmin edildi? Hangi finetuning aşaması neyi bozdu? Hangi tokenizasyon hatası, bir döngüyü kırıyor? Bu sorular, büyük modellerle cevaplanamaz. Çünkü bu modeller, bir siyah kutu haline gelmişti.

Cadmus, bu siyah kutuyu açıyor. Sistemin kalbi, bir tamsayı sanal makinesi (integer VM) ve bu makine için yazılan, doğrulanmış küçük programlardan oluşan bir veri seti. Bu programlar, basit aritmetikten başlayıp, özyinelemeli fonksiyonlara, koşullu dallanmalara kadar uzanıyor. Ama burada önemli olan: her satır kod, her değişken, her işlem tamamen şeffaf. Model, sadece bu sınırlı, anlamlı ve yapısal bir evren içinde çalışıyor.

Autoregressive Model: Kompakt, Ama Zekâlı

Cadmus’taki autoregressive transformer modeli, GPT-5 kadar büyük değil. Hatta, boyutu bir mobil uygulamanın ağırlığına bile yakınsa, indüktif akıl yürütme yeteneği şaşırtıcı. Örneğin, model bir dizi tamsayı dizisi (örneğin: 2, 4, 8, 16, ?) gördüğünde, yalnızca sonraki sayıyı değil, neden 32 geleceğini anlıyor. Çünkü bu diziler, programlama dili içindeki döngü veya üs alma işlemlerine karşılık geliyor. Model, sadece “sonraki kelimeyi” tahmin etmiyor; programın mantığını kavrayıp, onu tamamlıyor.

Bu, sadece bir tahmin değil, bir anlama. Ve bu anlama, 200 dolarlık bir eğitim maliyetiyle gerçekleşti. GPT-5 ise, aynı görevde %95 doğrulukla başarısız oldu — çünkü onun eğitim verisi, bu tür yapısal, matematiksel programların tamamını içermiyor. Büyük modeller, çok şeyi bilir ama ne biliyorlarını bilmezler. Cadmus ise, her adımını görebilirsiniz: Hangi ağırlık, hangi işlemi tetikliyor? Hangi katman, döngü mantığını kodluyor? Bu, bilim için hayati bir avantaj.

Deneylerin Yeni Çağına Giriş

Cadmus’un gerçek gücü, kontrollü deneyler yapma yeteneğinde yatıyor. Araştırmacılar şu soruları sormaya başlayabilir:

• Modelin, ‘if’ deyimini öğrenmesi için kaç örnek yeterli?
• Veri dağılımını hafifçe değiştirdiğimde, modelin genelleme yeteneği nasıl bozulur?
• Belirli bir token’ı çıkarırsam, modelin mantıksal tutarlılığı nasıl etkilenir?

Bu tür sorular, büyük modellerde imkânsız veya en azından maliyetli birer efsane. Cadmus’ta ise, her biri birkaç dakikada yapılabilir. Bu, yapay zeka araştırmasının deneyci bir bilim haline gelmesini sağlıyor. Artık ‘büyüklük’ değil, ‘temizlik’ ve ‘kontrol’ öncelikli.

Yapay Zekanın Yeni Felsefesi: Azlık, Ama Derinlik

Cadmus, sadece bir yazılım değil, bir felsefi dönüşümün habercisi. Bilim tarihinde, Newton’un basit yasaları, Aristoteles’in karmaşık doğa anlayışını yıktı. Benzer şekilde, Cadmus, ‘büyük veri, büyük model’ dogmasının çöküşünü gösteriyor. Yapay zekada, derinlik, boyutla değil, yapıyla ölçülür.

Şu anda, birçok şirket ve üniversite, milyarlarca dolar harcayarak daha büyük modeller üretmeye çalışıyor. Ama Cadmus, bu yolu terk etmenin, daha akıllıca bir yol olabileceğini gösteriyor. Ne kadar az şeyle, ne kadar çok şey anlayabilirsin? Bu soru, geleceğin en önemli sorusu olabilir.

Şu anda, Cadmus yalnızca tamsayı programları üzerinde çalışıyor. Ama bu, bir başlangıç. Gelecek versiyonlar, diziler, veri yapıları, hatta basit algoritmalarla genişletilebilir. Ve eğer bu modelin temel fikri, daha büyük sistemlere uygulanırsa, yapay zekanın ‘anlama’ kapasitesi tamamen yeniden tanımlanabilir.

Belki de, yapay zekanın gerçek ilerlemesi, daha fazla bilgiyle değil, daha az ama daha anlamlı bilgiyle olacak. Cadmus, bu fikrin ilk somut kanıtı.