DIY NAS ile 80B LLM Çalıştırma: Yerel AI Devrimi 2024

DIY NAS ile 80B LLM çalıştırmak, 2024’ün en çarpıcı teknoloji başarılarından biri haline geldi. Bu başarı, özellikle özel belgeleri, araştırma notlarını ve hassas verileri buluta yüklemek istemeyen bilim insanları, avukatlar ve bireysel kullanıcılar için devrim niteliğinde. Artık bir NAS (Network Attached Storage) sunucusu, yalnızca veri depolama aracı değil, yerel düzeyde çalışan büyük dil modelleri için güçlü bir AI işlem merkezi haline gelmiştir. Bu gelişmenin temelinde, ARM64 tabanlı tek board bilgisayarlar (SBC) ve düşük maliyetli yüksek kapasiteli disklerin bir araya getirilmesi yatıyor. 2023’te sadece teorik olan bu senaryo, 2024’te gerçek bir kullanım haline geldi — özellikle Raspberry Pi 5, NVIDIA Jetson AGX Orin ve Rock 5B gibi donanımların piyasaya sürülmesiyle birlikte.

Yerel AI: Bulutun Sonu mu?

Önceki yıllarda, büyük dil modelleri (LLM) yalnızca Google, OpenAI veya Azure gibi bulut sağlayıcılarının sunucularında çalıştırılıyordu. Ancak 2024’te, Moll.dev ve Core Lab gibi bireysel projeler, 72TB ve 80TB’lık NAS sistemlerine 80 milyar parametrelik modelleri optimize ederek yerel olarak çalıştırmayı başardı. Bu sistemler, yalnızca veri depolamakla kalmıyor, aynı zamanda kullanıcıların kendi belgelerine göre özel olarak eğitilmiş AI asistanları sunuyor. Kullanıcılar, gizli sözleşmeleri, tıbbi kayıtları veya akademik araştırmaları buluta yüklemek zorunda kalmadan, tamamen yerel bir ortamda sorgulayabiliyor. 2023’teki Llama 2 70B gibi modellerin yerel çalıştırılması bile zorlukla karşılaşıyorken, 2024’te GGUF quantization ve llama.cpp gibi araçlar sayesinde 80B modeller bile 16GB RAM’li sistemlerde bile çalıştırılabiliyor. Bu, veri gizliliği konusunda bir dönüm noktası yarattı — özellikle Avrupa’daki GDPR uyumlu kurumlar için kritik bir avantaj.

Teknik Detaylar ve Maliyet Avantajı

• ARM64 tabanlı SBC’ler (örneğin Raspberry Pi 5 veya NVIDIA Jetson AGX Orin) düşük güç tüketimiyle yüksek verim sağlıyor — bazı sistemler 20W altında çalışırken 12+ token/s hızı yakalıyor.
• SSD önbellekleme ve NVMe hızlandırıcılar, model yükleme sürelerini %70 azaltıyor ve 10 saniyeden kısa başlatma süreleri mümkün hale geliyor.
• 80B parametreli bir model, 48GB RAM ve 16TB SSD önbellek ile yerel olarak çalıştırılabiliyor — özellikle GGUF Q4_K_M quantization ile bile 30GB RAM’de bile akıcı çalışabiliyor.
• Toplam maliyet, bulut tabanlı bir LLM hizmetinin 1 yıllık maliyetinin %15’inden daha düşük — bir NAS kurulumu 800-1200 USD arasında, Azure OpenAI’nin 80B sınıfı API kullanımına kıyasla 12 ayda %85 tasarruf sağlıyor.

Arko Basu’nun Medium’daki çalışmasında da vurgulandığı gibi, bu sistemler yalnızca teknik bir başarı değil, bir özgürlük ilanı. Kullanıcılar artık veri sahipliği ve gizlilik konusunda tam kontrolü elde ediyor. Alibaba’nın 2024 yazındaki iç belge yönetimi rehberinde de belirtildiği gibi, bu yapılar, şirketlerin iç belge arama sistemlerini de yeniden şekillendiriyor — özellikle hukuk ve sağlık sektörlerinde veri taşınımı yasaklanan ortamlarda. Sonuç olarak, 2024’te DIY NAS, sadece depolama değil, kişisel AI altyapısının kalbi haline geldi.