Sıfırdan Yazdığım Küçük Dil Modeli: Veri Seti Yok, API Yok, Sen Eğitebilirsin

Yapay zekânın en son büyük adımı, Amazon’un veri merkezlerindeki binlerce GPU’da eğitilen 100 milyar parametrelik dev modeller değil. Bu kez, bir araştırmacı, kendi masaüstü bilgisayarında, hiç önceden eğitilmiş veri seti kullanmadan, hiç bir API’ye başvurmadan, tamamen sıfırdan bir dil modeli oluşturdu. Ve bu model, senin istediğin her şeyi öğrenebilir — sadece senin verilerinle.

Sıfırdan Yapmak: Neden Bu Kadar Nadir?

Geçtiğimiz on yılda, dil modelleri artık birer ticari ürün haline geldi. OpenAI, Google, Meta, hatta Hindistan’dan Sarvam AI gibi küçük firmalar bile, milyarlarca parametreli modelleri, milyonlarca metinle eğitilmiş veri setleriyle geliştirdi. Sarvam AI’nın 30B ve 105B parametrelik açık kaynak modelleri, teknik olarak etkileyici — ama hepsi birer önceden eğitilmiş temel. Bu modeller, Wikipedia’dan, GitHub’dan, kitaplardan ve sosyal medyadan toplanan verilerle beslendi. Yani senin verin değil, başkalarının verisiyle eğitildi.

Ama bu yeni proje tamamen farklı. Yazar, yalnızca bir Python scripti, biraz CUDA desteği ve kendi topladığı 200 bin kelimelik bir metin yığınıyla başlayarak, tokenleştirme, attention mekanizması ve gradient descent gibi temel algoritmaları elle kodladı. Her satır kod, kendi elinden çıktı. Her parametre, kendi verileriyle güncellendi. Hiçbir kütüphane, hiçbir önceden eğitilmiş ağırlık, hiçbir Hugging Face modeli kullanılmadı.

Neden Bu Kadar Önemli?

Bu, sadece bir teknik başarı değil. Bir felsefi bir dönüşüm.

Şu ana kadar, AI’ya "öğrenme" demek, büyük veri toplamak demekti. Ama bu proje, "öğrenme"nin aslında özel olabileceğini gösteriyor. Senin günlük notların, senin yazdığın şiirler, senin şirketinin e-posta arşivi, senin hastane kayıtlarının anonimleştirilmiş versiyonu — bunların hepsi, bu modelin eğitim verisi olabilir. Bir tıp araştırıcısı, kendi hastalarının tıbbi notlarını kullanarak özel bir tanı modeli oluşturabilir. Bir yazar, kendi romanlarının tarzını öğreten bir yazım asistanı yaratabilir. Bir öğretmen, öğrencilerinin yazım hatalarını düzeltmek için kişiselleştirilmiş bir model eğitebilir.

Bu, AI’nın bir "genel yetenekli araç"tan, "kişisel alet"e dönüşmesinin ilk adımı.

Kaynaklar ve Gerçekler: Gerçekçi Bir Görünüm

ScienceDirect’da yer alan bir makale (Reference: 9d0c37da3a0805d1), dil modellerinin tek hücre verilerinde nasıl kullanılabileceğini tartışıyor — ama bu makaleye erişim engellendi. Bu, büyük yayıncıların AI eğitim verilerine olan kapatıcı tutumunu gösteriyor: Veri, ancak onların şartlarıyla kullanılabilir. Bu da, sıfırdan yapılan bu projenin ne kadar radikal olduğunu daha da vurguluyor. Bu proje, veri sahipliğini geri alıyor.

Öte yandan, Sarvam AI’nın 105B parametreli modeli, büyük ölçekli performans için tasarlanmış — ama bu modeli eğitmek için milyonlarca dolar harcanmış olmalı. Bu yeni model ise, bir MacBook Pro’da 14 saatte eğitildi. Performansı şu anda GPT-2 seviyesinde, ama özgür. Herkesin indirip, kendi verileriyle yeniden eğitebilmesi mümkün.

Kimler Bu Modeli Kullanabilir?

• Öğrenciler ve araştırmacılar: Eğitim verileri sınırlıysa, kendi notlarını kullanarak modeli eğitebilirler.
• Küçük işletmeler: Müşteri e-postalarını analiz eden, şirket içi dil modeli oluşturabilirler.
• Özel dil sahipleri: Yerel diller, eski metinler, gizli jargonlar — hepsi artık eğitilebilir.
• Gizliliği kritik olan sektörler: Hastane kayıtları, hukuki belgeler, finansal raporlar — dış verilere ihtiyaç duymadan işlenebilir.

Gelecek: AI’nın Kişiselleşmesi

Bu proje, AI dünyasında bir dönüm noktası olabilir. Artık "daha büyük" değil, "daha özgün" olmak önem kazanıyor. Büyük şirketler, veri toplamak için hukuki çatışmalara girerken, bu model, veriyi geri veriyor — kullanıcıya.

Yakında, herkesin kendi AI’sı olabilir. Sadece bir GitHub deposu ve birkaç saatlik eğitimle. Senin tarzında yazan, senin düşüncelerini anlayan, senin verilerine dayanan bir asistan. Bu, teknoloji değil, özgürlük.

Ve bu, başlangıç. Sıfırdan yapılan bir model değil, sıfırdan başlayan bir hareket.