77 Milyon Parametreyle CPU'da 40 Token/s: TinyTeapot, AI'nın Küçük Büyüsü

77 Milyon Parametreyle CPU'da 40 Token/s: TinyTeapot, AI'nın Küçük Büyüsü

Yapay zekâ dünyası, genellikle parametre sayısının ne kadar büyük olduğuna odaklanır. 70 milyar, 100 milyar, hatta 1 trilyon parametreli modellerin her yeni çıkışı bir haber başlığı olurken, tam tersine bir hareket de dikkat çekiyor: TinyTeapot. Sadece 77 milyon parametreyle, sıradan bir laptopun CPU’sunda saniyede 40 token üretiyor. Bu, teknolojinin büyüklüğüne değil, akıllılığına dair bir sinyal.

Neden Bu Kadar Küçük? Neden Bu Kadar Hızlı?

TinyTeapot, geleneksel büyük dil modellerinin aksine, ‘bağlam odaklı’ (context-grounded) bir mimariye sahip. Yani sadece kelime olasılıklarını tahmin etmekle kalmıyor; verilen metin bağlamını derinlemesine analiz ederek, daha az veriyle daha anlamlı çıktılar üretiyor. Bu, modelin ‘hafızasını’ azaltmak değil, ‘odaklılığını’ artırmak için tasarlanmış bir strateji. Geliştiriciler, yalnızca 77 milyon parametreyle, 10 kat daha büyük modellerin çoğu görevdeki performansına yaklaşabiliyor. Bu, bir araba motorunun hacmini küçültüp, aynı güçte çalıştırabilmek gibi bir başarı.

Performans verileri ise şaşırtıcı: Intel i7-1260P gibi yaygın bir mobil işlemci üzerinde, 40 token/saniye hızla çalışabiliyor. Bu, bir metin üretme işleminin 0,025 saniyede tamamlanması demek. Daha önce bu hız, yalnızca GPU’larla ve büyük modellerle mümkün sayılırdı. Şimdi ise, bir telefonun arkasında bile, gerçek zamanlı bir asistan gibi çalışabilecek bir AI var.

Açık Kaynak: Sadece Kod Değil, Bir Felsefe

TinyTeapot, Hugging Face üzerinde tamamen açık kaynak olarak paylaşıldı. Bu, yalnızca bir teknoloji değil, bir felsefenin ifadesi. Büyük teknoloji şirketleri, AI’yı kendi veri havuzları ve kapalı sistemlerle kontrol altına almaya çalışıyor. TinyTeapot ise, her öğrenci, küçük bir startup veya geliştiriciye, ‘kendi AI’sını’ kurma imkânı sunuyor. Hatta bir Raspberry Pi 5 üzerinde bile çalıştırılabilecek şekilde optimize edilmiş. Bu, AI’nın elit bir teknoloji değil, herkesin erişebileceği bir araç haline gelmesi yolunda bir adım.

Ne Anlama Geliyor? AI’nın Küçültülmesi Mi, Yoksa Akıllılaştırılması mı?

Bu gelişme, AI dünyasında bir dönüşümün habercisi. Uzun yıllar boyunca, daha büyük modeller = daha iyi performans kuralı geçerliydi. Ancak TinyTeapot, bu kurala meydan okuyor: “Daha az veriyle daha fazla anlam” artık mümkün. Bu, sadece donanım maliyetlerini düşürmekle kalmıyor; enerji tüketimini de %90’a varan oranlarda azaltıyor. Bir büyük modelin bir gün boyunca tükettiği enerji, TinyTeapot’un birkaç ay boyunca tüketeceği enerjiye denk geliyor.

Özellikle gelişmekte olan ülkelerde, bulut maliyetlerine erişim sınırlıysa, bu model bir kurtarıcı olabilir. Bir öğretmen, kendi sınıfta AI destekli ders hazırlayabilir. Bir köy doktoru, yerel dilde hasta kayıtlarını analiz edebilir. Bir yazılımcı, kendi uygulamasına entegre edebilir. Tüm bunlar, artık bir supercomputer gerektirmiyor.

Karşılaştırmalı Bakış: TinyTeapot vs. Büyük Modeller

• Parametre: TinyTeapot: 77M | LLaMA-3-8B: 8B (100x daha büyük)
• Çalışma Ortamı: CPU (i3/i5/i7) | Büyük modeller: A100/H100 GPU
• Hız: ~40 token/s | LLaMA-3-8B (CPU): ~3 token/s
• Enerji Tüketimi: 5W | Büyük modeller: 300W+
• Açık Kaynak: Evet | Büyük modeller: Genellikle kısıtlanmış

Bu tabloya bakıldığında, TinyTeapot’un sadece küçük bir alternatif değil, farklı bir yol haritası olduğunu anlıyoruz. Büyük modeller, karmaşık görevlerde (örneğin bilimsel makale yazma) hâlâ üstünlük sağlıyor. Ancak TinyTeapot, günlük kullanım senaryoları — sohbet, özetleme, çeviri, kod önerisi — için çok daha pratik bir çözüm.

Gelecek: Küçük Modellerin Büyük İmparatorluğu

TinyTeapot, yalnızca bir model değil, bir trendin başlangıcı. 2025’e doğru, AI dünyası ‘büyüklük yarışı’ndan ‘verimlilik yarışına’ geçiyor. Google, Meta ve Microsoft bile, küçük modeller üzerinde yoğunlaşmaya başlamış durumda. TinyTeapot, bu trendin ilk açık kaynak örneği. Artık AI, sadece Silicon Valley’de değil, İstanbul’un bir kafeinde, Nairobi’nin bir okulunda, Hanoi’nin bir ofisinde de çalışacak.

Gelecekte, her cihazda bir AI olacak. Ama bu AI, bir kral olmayacak. Bir asistan olacak. Sessiz, verimli, ve çok az enerjiyle çalışan bir asistan. TinyTeapot, bu asistanın ilk adımı.