GPT-OSS 20B Tarafından Tarayıcınızda Çalışan Yapay Zeka: Lokal, Hızlı, Gizli

Tarayıcınızda Çalışan Bir Yapay Zeka: Neden Bu Kadar Önemli?

Bugün, yapay zeka tarihinin bir dönüm noktası yaşandı. Reddit’teki bir kullanıcı, GPT-OSS (20B) adlı bir modeli, tamamen yerel olarak — yani sunucuya, buluta veya internet bağlantısına gerek duymadan — tarayıcınızda çalıştırmayı başardı. Bu, yalnızca bir teknik mucize değil; veri gizliliği, AI erişim eşitsizliği ve merkezi kontrolün sonunu işaret ediyor.

Projenin yaratıcısı, kullanıcı adı /u/xenovatech olan bir geliştirici. Hugging Face üzerinde paylaştığı demo sayesinde, herhangi bir kullanıcı — Apple M1, NVIDIA RTX veya hatta modern bir Intel işlemcili bir bilgisayarda — sadece bir tarayıcı açıp, bir URL’ye tıklayarak, 20 milyar parametrelik bir dil modelini kendi cihazında çalıştırmayı başarabiliyor. Ve bu, WebGPU teknolojisi sayesinde mümkün oldu.

WebGPU Nedir? Neden Bu Kadar Devrimci?

WebGPU, tarayıcıların grafik işlem birimlerini (GPU) doğrudan kullanmasına izin veren yeni bir standart. Daha önce bu tür hesaplamalar için WebGL kullanılıyordu, ancak WebGL, yapay zeka modelleri için çok yavaş ve kısıtlayıcıydı. WebGPU, modern GPU’ların tam kapasitesini açığa çıkarıyor — ve bu, yapay zekanın tarayıcıda çalışması için kritik bir zemin oluşturuyor.

Örneğin, bir önceki nesil model olan LLaMA 2 7B’yi tarayıcıda çalıştırmak bile büyük bir çaba gerektiriyordu. Ancak GPT-OSS 20B, 3 kat daha büyük bir model. Bu modelin, WebGPU + ONNX Runtime Web + Transformers.js v4 (önceki sürümlerden çok daha optimize edilmiş) kombinasyonuyla çalışır hale getirilmesi, bir teknik kırılma noktası. Yani: Artık yapay zeka, sadece Google, OpenAI veya Microsoft’un sunucularında değil, sizin cihazınızda da çalışabiliyor.

20B Parametre Ne Anlama Geliyor?

Parametre sayısı, bir dil modelinin “bilgi kapasitesini” ölçer. GPT-3’ün 175 milyar parametresi vardı; GPT-4’ün tam boyutu bilinmiyor ama muhtemelen 1-2 trilyon arası. GPT-OSS 20B, bu ölçeklerin çok altında kalıyor ama — tarayıcıda çalışan bir model olarak — kendi sınıfında en güçlüsü. Bu model, metin üretimi, soru-cevap, özetleme ve hatta kod yazma gibi görevleri yerine getirebiliyor. Daha da önemlisi: hiçbir veri sunucuya gitmiyor.

Örneğin, bir doktor hastasının tıbbi kaydını sormak istiyor. Geleneksel bir AI hizmeti, bu veriyi buluta gönderiyor. Ama GPT-OSS 20B ile, tüm işlem yerelde kalıyor. Veri, internete çıkmadan, cihazın belleğinde kalıyor. Bu, GDPR, HIPAA gibi veri koruma düzenlemeleri açısından bir devrim.

Neden Bu Proje Tarihe Geçebilir?

• Merkeziyetin Sonu: OpenAI, Google, Anthropic gibi şirketlerin AI erişimine tekil kontrolü zayıflıyor. Artık herkes, kendi cihazında güçlü bir AI kullanabiliyor.
• Erişilebilirlik: Bir üniversite öğrencisi, köydeki bir öğretmen, Afrika’daki bir geliştirici — tümü aynı gücü elde ediyor. Bulut aboneliklerine gerek yok.
• Gizlilik: İletişimler, aramalar, kişisel veriler artık üçüncü taraflara sızmıyor. Sadece siz ve cihazınız bilir.
• Sürdürülebilirlik: Bulut sunucularının enerji tüketimi son yıllarda korkutucu boyutlara ulaştı. Yerel AI, daha az karbon ayak izi bırakıyor.

İşte Gerçekten Şaşırtıcı Olan: Açık Kaynak

GPT-OSS, OpenAI tarafından geliştirilen bir model değil. Adı “OSS” (Open Source Software) olan bu model, topluluk tarafından geliştirilmiş ve optimize edilmiş bir versiyon. ONNX Runtime Web ile uyumlu hale getirilmesi, 20B boyutundaki modelin, tarayıcıda çalışabilecek şekilde veri sıkıştırılması ve kuantizasyonu gibi teknik zorluklarla mücadele edilmesi, binlerce saatlik açık kaynak çabası sonucu gerçekleşti. Bu, topluluk gücünün ne kadar güçlü olduğunu gösteriyor.

Yani bu, bir “gizli projenin” sonucu değil — bir “açık topluluk”un başarıyı başardığı bir örnek. GPT-OSS’in modeli ve kaynak kodu, Hugging Face üzerinde tamamen açık. Kimse bu modeli satın almak zorunda değil. Herkes, kendi cihazına indirebilir, değiştirebilir, geliştirebilir.

Gelecek Ne Getirecek?

Bu deneme, 2025’e kadar tüm akıllı telefonlarda yerel 10B+ parametreli AI modellerinin çalışmasını mümkün kılacak bir yol haritası çiziyor. Apple, Google ve Samsung, zaten yerel AI’ya yatırım yapıyor. Ama bu proje, üreticilerin değil, kullanıcıların kontrolünü sağlıyor.

Gelecekte, bir eğitim uygulaması, bir hukuki danışmanlık aracı, bir psikolojik destek botu — hepsi tarayıcıda, veri sızıntısı olmadan, ücretsiz ve yerel olarak çalışacak. Kullanıcılar artık “AI hizmeti almak” yerine, AI araçlarını kendi cihazlarında barındırmak zorunda kalacak.

Bu, yalnızca bir teknoloji gelişimi değil — bir etik dönüşüm. Veri sahipliği, artık şirketlerin elinde değil, sizin elinizde.

Denemek isterseniz: https://huggingface.co/spaces/webml-community/GPT-OSS-WebGPU

İnternet bağlantınız kesilse bile, AI hala çalışır. Bu, bir devrimin sadece başlangıcı.