LLaMA.cpp’de Devrim: SSM Modellerde VRAM Tüketimi 8 Kat Azaldı

Yerel yapay zeka dünyasında bir çığır açan bir gelişme yaşandı. llama.cpp projesi, SSM (State Space Model) tabanlı büyük dil modellerinin bellek tüketimini kökten değiştiren bir düzeltmeyi birleştirdi. Bu değişiklik, önceden 48 GB’a kadar çıkan VRAM kullanımını, aynı bağlam uzunluğunda sadece 6 GB’a düşürdü — yani 8 katlık bir verimlilik artışı. Bu gelişme, NVIDIA’nın yeni Dynamic Memory Sparsification (DMS) teknolojisiyle paralel olarak, yerel AI kullanımının ekonomik ve teknik sınırlarını yeniden tanımlıyor.

Nasıl oldu? Kullanılan bellek neden 8 kat daha fazlaydı?

Reddit kullanıcısı u/Ok_Warning2146, Kimi Linear sunucu hatasını çözme sürecinde bir kritik sorunu keşfetti: SSM modelleri, özellikle --parallel parametresiyle birden fazla istemciye hizmet verirken, her bir paralel iş parçacığı için tamamen bağımsız ve kopyalanmış bir Key-Value (KV) önbelleği oluşturuyordu. Örneğin, Nemotron 3 Nano gibi bir model 1 milyon tokenlık bağlamda çalışırken, her bir istemci için 6 GB’lık bir KV önbelleği gerekliydi. Ancak 8 paralel istemci için, bu değer 8 x 6 GB = 48 GB’a yükseliyordu. Bu, teknik olarak bir hata değil, bir tasarım kusuruydı: KV önbelleği, modelin her bir istemci için tekrar tekrar yüklenmesiyle değil, paylaşılarak yönetilmesi gerekiyordu.

Bu sorun, özellikle SSM modellerinde daha kritik hale geliyordu. Çünkü SSM’ler, geleneksel transformer yapılarından farklı olarak, uzun bağlamları daha verimli işlemek için tasarlanmıştı — ancak bu avantaj, uygulama katmanında bozuluyordu. Geliştiriciler, bu modelleri yerel sunucularda çalıştırmak için 48 GB’lık bir GPU kartı gerektiriyordu, oysa tek bir istemci için sadece 6 GB yeterliydi. Bu, bir katman çatışmasıydı: model mimarisi verimliyken, uygulama katmanı verimsizdi.

Çözüm: Paylaşılan Önbellek Mekanizması

Çözüm, GitHub üzerindeki #19559 pull request ile birleştirildi. Geliştiriciler, KV önbelleğinin her bir istemci için ayrı ayrı oluşturulması yerine, tüm istemcilerin ortak bir önbelleği paylaşmasını sağladı. Bu, yalnızca modelin aktif ağırlıklarını ve bir kez hesaplanan temel durumları saklamayı, istemciye özel durumları ise çok daha küçük bir hafıza alanı içinde yönetmeyi sağladı.

Yeni yapıda, 8 paralel istemci bile 6 GB’lık bir KV önbelleğini paylaşır. Bu, 8 kat daha az VRAM tüketimi anlamına gelir. Aynı 48 GB’lık bir GPU artık 8 farklı kullanıcıya, her biri 1 milyon tokenlık bağlamda hizmet verebilir — bu, daha önce yalnızca 1 kullanıcıya hizmet verebilecek bir sistemdi.

NVIDIA DMS ile Paralel Bir Devrim

İlginç bir şekilde, bu yerel geliştiricilerin bulduğu çözüm, NVIDIA’nın 2026 Şubat’ta duyurduğu Dynamic Memory Sparsification (DMS) teknolojisiyle doğrudan örtüşüyor. NVIDIA, bulut tabanlı LLM’lerde KV önbelleğini matematiksel sparsifikasyonla sıkıştırarak bellek kullanımını 8 kat azalttı. Fakat DMS, GPU donanımı ve özel yazılım yığını gerektirir. Oysa llama.cpp’taki düzeltme, herhangi bir CUDA uyumlu GPU’da, hiçbir donanım değişikliği olmadan aynı verimliliği sağlıyor.

Bu, iki farklı dünyayı birleştiren bir an: Bulut devlerinin teknolojisi, açık kaynak topluluğunun pratik çözümüyle yerel kullanıcılar için erişilebilir hale geldi. NVIDIA, milyonlarca dolarlık veri merkezlerinde maliyetleri düşürüyor. llama.cpp ise, bir öğrenci, bir küçük startup veya bir bireysel geliştiriciye, evdeki 24 GB’lık bir RTX 4090 ile 8 kullanıcıya hizmet verme imkanı veriyor.

Kimler Kazandı?

• Yerel AI geliştiricileri: Daha az donanım, daha fazla performans. 48 GB’lık bir GPU artık gerekli değil.
• Open source topluluğu: SSM modelleri (Qwen3Next, Kimi Linear, Nemotron 3 Nano) artık gerçekçi şekilde yerel sunucularda çalıştırılabilir hale geldi.
• Öğrenciler ve küçük şirketler: Bulut ücretlerine bağlı kalmadan, özel verilerle çalışan özel modelleri kendi sunucularında barındırabilirler.
• Veri gizliliği odaklı kurumlar: Hastane, banka veya devlet kurumları, hassas verileri dış sunuculara göndermeden, tamamen yerel olarak işlemeye başlayabilir.

Gelecek: Yerel AI’nın Yeni Zamanı

Bu düzeltme sadece bir bug fix değil, bir paradigma kayması. AI, artık sadece büyük şirketlerin ve bulut sağlayıcılarının sahibi olmayacak. Teknoloji, erişilebilirlik ve verimlilik ile demokratikleşmeye başlıyor. SSM modelleri, uzun bağlamları daha verimli işleyebilir; bu düzeltme ise, bu verimliliği gerçek dünyada kullanıma sunuyor.

Gelecek yıl, 10 milyon tokenlık bağlamı yerel bir cihazda çalıştırmak, normal bir durum olacak. Ve bu yolun ilk adımı, bir geliştiricinin Reddit’te paylaştığı bir hata raporuydu — ve topluluğun onu düzeltmesiydi.

Artık AI, sadece NVIDIA’nın ya da OpenAI’nın dünyasında değil, herkesin bilgisayarında da yaşıyor. Ve bu, teknolojinin gerçek anlamda özgürleşmesi demek.