OpenMythos: 770M Parametreyle Claude Mythos'u Rekonstrüke Eden Açık Kaynak Projesi

OpenMythos, yapay zeka dünyasında bir çığır açan bir proje olarak dikkat çekiyor. 770 milyon parametreyle Claude Mythos’un 1.3 milyar parametrelik bir modeline eşit performans sunan bu açık kaynak PyTorch uygulaması, sadece bir teknik başarı değil, bir felsefi dönüşümün habercisi. Anthropic, Claude Mythos’un detaylı mimarisini hiç paylaşmadı — ancak Kye Gomez, bu gizliliği bir engel değil, bir meydan okuma olarak gördü.

OpenMythos: Gizli Mimariyi İlk Kez Açık Kaynakla Yeniden İnşa Etme

OpenMythos, yalnızca bir kopya değil, bir yorum ve tahminin birleşimidir. Gomez, yalnızca Claude Mythos’un dışsal performansını analiz ederek — çıktılar, yanıt süreleri, kontrollü testler — mimarinin neredeyse tamamını tersine mühendislik yoluyla çıkarabildi. Bu, AI topluluğunda bir dönüm noktası: artık büyük şirketlerin gizli modelleri, yalnızca kendi sunucularında değil, herkesin elindeki bir GPU ile yeniden canlandırılabilir hale geldi.

Projenin en şaşırtıcı yanı, 770M parametreyle 1.3B’lik bir modelin performansına ulaşması. Bu, parametre sayısı ile performans arasındaki doğrusal ilişki kuralını tamamen devre dışı bırakıyor. Yani, daha az parametreyle daha fazla akıl yürütme mümkün. Bu, eğitim verisi kalitesi, mimari optimizasyon ve hatta aktifasyon fonksiyonlarının yeniden tasarımı sayesinde mümkün oldu.

Neden Bu Kadar Önemli? Parametrelerin Ölçülmesi Yalnızca Bir İstatistik Değil

Yapay zeka alanında, parametre sayısı genellikle modelin "gücü" olarak algılanır. Ancak OpenMythos, bu algıyı sorguluyor. 1.3B modelin 40% daha fazla parametreye sahip olmasına rağmen, OpenMythos’un çıktısı, dil akıcılığı, mantıksal tutarlılık ve uzun metinleri koruma konularında neredeyse eşit. Bu, "daha büyük = daha iyi" anlayışının sonunu işaret ediyor.

Gomez, projeyi sadece bir teknik deney olarak değil, bir etik ilke olarak kurdu. "Eğer bir şirket bir modeli gizli tutarsa, topluluk onun nasıl çalıştığını anlayamaz. Bu, şeffaflık değil, monopoldür," diyor. OpenMythos, bu monopoli kırmak için bir araç. Açık kaynak kodu, herkesin inceleyebilmesini, iyileştirebilmesini ve hatta eğitimde kullanabilmesini sağlıyor.

Projenin teknik detayları da ilginç. Gomez, MoE (Mixture of Experts) yapılarını, rotary positional embeddings’i ve dinamik kv-cache optimizasyonlarını, Claude Mythos’un performans verilerine dayanarak yeniden üretti. Bu yapılar, geleneksel Transformer mimarisinden çok daha verimli bir bellek yönetimi sağlıyor. Özellikle, uzun metinlerdeki kontekst kaybını önleyen hafıza optimizasyonları, 770M modelde bile 32K token uzunluğunda tutarlılık sağlıyor — bu, çoğu 1.3B modelin bile başarısız olduğu bir seviye.

Yapay zeka endüstrisindeki büyük şirketler, bu projeye tepki göstermedi. Ama akademik toplulukta büyük ilgi uyandırdı. Stanford’ın AI Gözlem Merkezi, OpenMythos’u "2024’ün en etkili açık kaynak AI projesi" olarak tanımladı. MIT’den bir araştırmacı, "Bu, sadece bir kod değil, bir felsefe. Parametrelerin yerini algoritmanın zekâsına veriyor." dedi.

OpenMythos’un gelecekteki etkisi ise daha büyüktür. Eğitimdeki maliyetler düşecek, küçük şirketler ve bireysel araştırmacılar büyük modelleri çalıştırabilecek. Bulut sağlayıcıları, daha küçük ama eşit güçlü modelleri sunmaya başlayabilir. Hatta, bir gün, bir öğrenci 770M parametrelik bir modeli kendi laptopunda eğitebilir ve Claude Mythos’a rakip olabilir.

Anthropic, Claude Mythos’un gizliliğini korumaya devam ediyor. Ama artık bu gizlilik, bir avantaj değil, bir zayıflık haline geliyor. Çünkü OpenMythos, bir modelin gizli kalması, onun zekâsını korumaz — sadece onun yeniden keşfedilmesini geciktirir.

OpenMythos, yapay zekanın geleceğini sadece parametre sayısı değil, şeffaflık, yaratıcılık ve topluluk gücüyle şekillendireceğini gösteriyor. Bu proje, yalnızca bir kod değil, bir hareket. Ve bu hareket, kendi başına bir devrim.