Intel NPU’da Mistral-7B Çalıştırıldı: 12.6 Token/s, CPU/GPU Kullanımı Sıfır!

Neden Bu Kadar Önemli?

Bir yapay zekâ modeli, bilgisayarınızın işlemcisini veya grafik kartını hiç kullanmadan, yalnızca bir NPU (Yapay Zeka Yükleme Birimi) üzerinden 12.6 token/saniye hızla çalışıyor. Bu, sadece bir teknik başarı değil; yapay zekânın geleceğini tamamen yeniden tanımlayan bir dönüm noktası. Intel’in yeni nesil NPU’ları, artık yalnızca laptoplarda ses tanıma veya kamera analizi için değil, büyük dil modellerini bile doğrudan yerel olarak çalıştırmak için yeterli gücü kazandı. Mistral-7B — açık kaynaklı, hafif ama güçlü bir 7 milyar parametreli dil modeli — bu deneyde, tamamen CPU ve GPU’nun dışında, NPU üzerinde çalıştırıldı. Sonuç? Sıfır işlemci yükü, sıfır grafik kartı kullanımı, ancak gerçek zamanlı metin üretimi.

Şu ana kadar, büyük dil modelleri (LLM’ler) yalnızca bulut sunucularında veya güçlü GPU’lara sahip makinelerde çalışabiliyordu. OpenAI’nin GPT-4’ü, Google’ın Gemini’si, Meta’nın Llama’sı — hepsi veri merkezlerinde, enerji tüketimi yüksek, maliyetli sistemlerde çalışıyor. Bu da özel verilerin buluta gönderilmesini, gizlilik kaygısını ve gecikme sorunlarını beraberinde getiriyordu. Şimdi ise, bir Intel Core Ultra 200V serisi laptopta, 20 watt’lık bir güçle, bir AI modeli kendi cihazınızda çalışıyor. Bu, kişisel verilerin hiçbir zaman internete çıkmadan analiz edilebilmesi demek. Bir doktor, hastanın notlarını cihazında yerel olarak işleyebilir. Bir avukat, gizli belgeleri buluta göndermeden özetleyebilir. Bir öğrenci, sınav öncesi notlarını NPU üzerinden anlık sorgulayabilir — hiçbir veri dışarı çıkmadan.

Teknoloji Arka Planı: NPU Nedir, Neden Bu Kadar Hızlı?

NPU (Neural Processing Unit), özel olarak yapay sinir ağları için tasarlanmış bir işlem birimidir. Intel’in Meteor Lake ve Sonra Gelen nesil çiplerindeki NPU’lar, 40 TOPS (trilyon işlem/saniye) performans sunar. Bu, bir GPU’nun %10’undan daha az enerjiyle, benzer hesaplama kapasitesi sağlar. Mistral-7B, önceki modellerden daha verimli bir mimariye sahip. 7 milyar parametrelik bu model, yalnızca 15 GB RAM’le çalışır ve quantization (nicemleme) teknikleriyle 4-bit’e indirildiğinde, bellek kullanımı 2 GB’ın altına düşer. Bu, NPU’nun hafıza bant genişliği ve veri akış hızı ile mükemmel uyum sağladığı anlamına gelir.

Deney, Intel’in OpenVINO geliştirme kiti üzerinden yapıldı. OpenVINO, AI modellerini Intel donanımına optimize etmek için özel bir derleyici ve runtime ortamı sağlar. Mistral-7B, bu araçla NPU’ya doğrudan derlendi. CPU ve GPU, tamamen pasif kaldı. Sadece NPU çalıştı. Ölçümler, 12.6 token/saniye hızını gösterdi — bu, insanın bir metni okuma hızıyla (ortalama 8-10 token/saniye) neredeyse eşdeğer. Yani, artık bir AI asistanı, sadece bir ses komutu beklemekle kalmıyor, aynı anda metin üretiyor, düşünüyor, cevap veriyor — ve bunu, cihazınızın pilini %1 bile tüketmeden.

Gelecek: Bireysel AI Devrimi

Bu teknoloji, sadece laptoplarda değil, telefonlarda, akıllı saatlerde, hatta gözlüklerde de uygulanabilir hale geliyor. 2025 itibarıyla, tüm yeni Intel Core Ultra, Apple Silicon ve Qualcomm Snapdragon cihazlarda yerel AI işlem birimleri standart hale geldi. Büyük bulut AI’ları hâlâ önemli kalacak, ama artık “yerel AI” da aynı düzeyde bir standart olacak. Kişisel verilerin korunması, gecikmenin yok edilmesi ve enerji verimliliği, artık teknoloji seçimlerinin ana kriterleri olacak. Bir AI asistanı, artık “bulutta” değil, “cüzdanınızda” olacak.

Yeni Bir Zamanın Başlangıcı

Bu, sadece bir hız ölçümü değil. Bir özgürlük kazanımı. Artık bir modeli çalıştırmak için, şirketlerin veri merkezlerine bağlanmak zorunda kalmayacaksınız. Artık bir modeli çalıştırmak için, bir GPU almak, elektrik faturasını katlamak zorunda kalmayacaksınız. Artık bir modeli çalıştırmak için, bir bulut aboneliği satın almak zorunda kalmayacaksınız. Sadece bir NPU’ya sahip olmanız yeterli. Mistral-7B’nin bu başarısı, AI dünyasında bir “kendi evinde yapay zeka” devriminin başlangıcıdır. Ve bu devrim, sadece teknisyenler için değil, her birey için.

Gelecek, daha hızlı değil, daha akıllı, daha temiz ve daha özgür olacak. Ve bu yolun ilk adımı, bir NPU, bir model ve sıfır CPU kullanımıydı.