4 Milyar Parametreyle Teoremleri Çözmek: Küçük AI Modellerinin Büyük Sırrı
4 Milyar Parametreyle Teoremleri Çözmek: Küçük AI Modellerinin Büyük Sırrı
4 Milyar Parametreyle Teoremleri Çözmek: Küçük AI Modellerinin Büyük Sırrı
Bir Reddit kullanıcısı, 4 milyar parametrelik bir yapay zeka modelinin, matematiksel teoremleri kanıtlayabileceğini iddia eden bir paylaşım yaptı. Bu paylaşım, sadece bir teknik soru değil, AI dünyasında bir paradigma değişimi işaret ediyor: Büyük modellerin egemenliğine karşı, küçük ama akıllı modellerin yükselişi.
Reddit’de r/LocalLLaMA forumunda paylaşılan bu içerik, ‘how to train a tiny model (4B) to prove hard theorems’ başlığı altında, bir modelin nasıl eğitileceğini adım adım anlatan bir rehber niteliğindeydi. Ancak bu paylaşımda dikkat çeken, sadece teknik detaylar değil, aynı zamanda ‘4B’ gibi küçük bir modelin, GPT-4 veya Claude 3 gibi 100+ milyar parametreli devlerin çözemeyen teoremleri kanıtlayabileceğine dair bir inançtı. Bu, AI endüstrisinin uzun süredir savunduğu ‘daha büyük = daha iyi’ felsefesine doğrudan meydan okuyor.
Neden 4 Milyar Parametre? Küçük Modellerin Gizli Gücü
4 milyar parametre, modern AI’da gerçekten ‘küçük’ bir boyut. GPT-3’ün 175 milyar, Llama 3’ün ise 70 milyar parametresi var. Bu modeller, trilyonlarca kelimeyle eğitilir, milyonlarca dolar harcanır ve devasa veri merkezlerinde çalışır. Peki neden bir modelin sadece 4 milyar parametreyle matematiksel ispatlar yapması ilginç?
Cevap, ‘veri kalitesi’ ve ‘eğitim stratejisi’dedir. Paylaşımda anlatılan yöntem, rastgele büyük veri setleriyle eğitmek yerine, matematiksel ispatların formel dilde (Coq, Lean, Isabelle gibi teorem ispatlayıcı dillerde) kodlanmış örneklerini hedefli olarak kullanır. Bu veriler, sadece birkaç GB’lık bir veri seti olabilir — ancak her satırı, bir matematikçi tarafından doğrulanmış, mantıksal bir adım içerir. Yani model, ‘çok şey’ değil, ‘doğru şeyleri’ öğreniyor.
Yapısal Öğrenme: AI’nın Matematiksel Düşünme Biçimi
Normalde AI modelleri, metin tahminine dayalı olarak çalışır: ‘Bir sonraki kelime ne olabilir?’ Bu yaklaşım, hikaye yazmak veya sohbet etmek için yeterli olabilir. Ancak teorem ispatlamak için gereken, ‘neden’ ve ‘nasıl’ sorularına mantıksal, adım adım cevap vermektedir.
Paylaşımda önerilen yöntem, modeli ‘formal proof tree’ yapılarıyla eğitir. Yani model, bir teoremin kanıtını, bir ağaç yapısı olarak görür: Kök teorem, dallar ise tanımlar, aksiyomlar ve öncüller. Her adım, bir mantık kuralıyla (örneğin, modus ponens) desteklenir. Bu tür bir eğitim, modelin yalnızca ‘benzer metinleri’ hatırlamak yerine, mantıksal çıkarım yapmasını sağlar.
Bu, AI’nın ‘hafızasını’ değil, ‘düşünme algoritmasını’ eğitmenin bir örneğidir. Böyle bir model, bir teoremi ezberlemek yerine, onu yeniden üretir. Bu, insan matematikçilerin yaptığı şeyin tam aynısıdır: kuralları uygulamak, hipotezleri test etmek, zıtlıkları çözmek.
Neden Bu Önemli? Sürdürülebilirlik ve Erişilebilirlik
Dev modellerin en büyük sorunu, maliyet ve enerji tüketimidir. GPT-4’ü eğitmek, bir köyün yıllık elektrik tüketimine eşit enerji harcar. 4B modeli ise bir orta seviye GPU’da bile eğitilebilir. Bu, üniversite laboratuvarları, küçük araştırma grupları ve hatta bireysel geliştiriciler için erişilebilir bir teknoloji haline gelir.
İkinci avantaj, şeffaflıktır. Büyük modeller ‘kara kutu’ olarak çalışır: Ne öğrendiğini, nerede hata yaptığını anlamak neredeyse imkânsızdır. Küçük modeller ise, eğitim verileri sınırlı ve temiz olduğundan, her çıkarım izlenebilir. Bu, matematiksel ispatlarda kritik bir avantajdır: Bir ispatın doğruluğunu kontrol etmek, yalnızca sonucu değil, süreci de incelemeyi gerektirir.
Gerçekçi Mi? Yoksa Sadece Bir İnanç Mı?
Paylaşımda sunulan yöntem, teknik olarak mümkün. 2023’te DeepMind’in AlphaGeometry projesi, 10 milyar parametrelik bir modelle IMO (Uluslararası Matematik Olimpiyatları) sorularının %80’ini çözdü. Ancak bu model, 100 milyon adet sentetik ispatla eğitildi — yani çok daha büyük bir veri setiyle. 4B modelin bu başarımı yakalayabilmesi için, veri kalitesi çok daha yüksek olmalı.
Gerçekçi bir senaryo şu: 4B model, belirli bir sınırlı alanda (örneğin, temel sayılar teorisi veya kombinatorik) yüksek başarı elde edebilir. Ama genel matematiksel zeka elde etmek, halen çok daha büyük modellerin ve insan uzmanların işidir. Bu, ‘küçük modelin devi yendiği’ bir hikaye değil, ‘küçük modelin belirli bir alanda devin yerini alabileceği’ bir hikayedir.
Gelecek: Küçük, Hızlı, Akıllı AI
Artık AI, sadece büyüklükle değil, zekâyla ölçülüyor. Bu paylaşım, bir teknik rehber değil, bir felsefi dönüşümün habercisi. Küçük modeller, enerji verimliliği, şeffaflık ve erişilebilirlik açısından insanlık için daha sürdürülebilir bir yol sunuyor. Matematikçilerin teoremleri kanıtlamak için kullandığı aletler, artık AI’ya da veriliyor — ve bu kez, çok daha küçük bir cihazla.
Belki de geleceğin en büyük matematiksel keşifleri, bir laptopta çalışan 4 milyar parametrelik bir modelden çıkacak. Ve bu, teknolojinin en büyük gücünü gösteriyor: Küçük bir fikir, büyük bir dönüşüm yaratabilir.
