122 Milyar Parametreli Qwen 3.5’i 72GB VRAM’le Çalıştırmak: Teknik Sırrı ve AI Yol Haritası

Nasıl Çalıştı? Teknik Detaylar ve Yaratıcı Çözüm

Yapay zeka dünyasında yeni bir maraton başlamıştır: büyük modelleri, sınırlı kaynaklarla çalıştırmak. Bu maratonda, bir araştırmacı ve lokal AI tutkunu, Qwen 3.5-122B gibi devasa bir modeli sadece 72 GB GPU belleğiyle çalıştırmayı başardı. Bu, yalnızca bir teknik başarı değil, AI’nın geleceğini şekillendirecek bir dönüm noktası. Çünkü şimdiye kadar bu boyutlardaki modeller, 80-100 GB VRAM’li sistemler gerektiriyordu. Oysa bu kişi, iki farklı GPU’yu akıllıca bir şekilde birleştirerek, bu sınırı kırdı.

İşin teknik kısmında, sadece güçlü donanım değil, ince bir planlama ve yazılım mühendisliği var. Kullanılan model, Hugging Face’de yayınlanan Qwen3.5-122B-A10B-UD-Q4_K_XL adlı, Unsloth tarafından optimize edilmiş bir GGUF formatlı model. Bu model, 4-bit kvantizasyonla sıkıştırılmış ve hafıza tüketimini %70’e varan oranda düşürmüş. Ancak bu yeterli değil. 122 milyar parametre, hatta 4-bit’le bile yaklaşık 60 GB’lık bir bellek gerektirir. Kalan 12 GB’lık boşluk, dağıtılmış hesaplama ile dolduruldu.

Donanım yapısı dikkat çekici: NVIDIA RTX A6000 (48 GB) ve RTX 3090 Ti (24 GB). Bu iki kart, farklı nesillerden ve farklı bellek bant genişliğine sahip. Normalde birlikte çalıştırılmaları zor, çünkü CUDA çekirdekleri ve bellek mimarileri uyumsuz. Ama burada, llama.cpp’in --split-mode layer ve --tensor-split 2,1 parametreleri devreye girdi. Bu, model katmanlarını iki GPU arasında dinamik olarak bölüştürmeyi sağlıyor. A6000, daha büyük katmanları alırken, 3090 Ti daha küçük ve hızlı hesaplamaları üstlendi. Bu, sadece bellek paylaşımı değil, hesaplama yükünün akıllıca dengelemesi.

Yazılım Mühendisliği: Docker, GGUF ve Sıfırdan Yapılandırma

Yazılım yığınında ise bir klasik: llama.cpp (b8148 sürümü). Bu açık kaynaklı kütüphane, GPU’larda çalışmak için yazılmış değil; ama bu kişi, CUDA desteğiyle derleyerek onu AI modeli çalıştırma motoruna dönüştürdü. Docker ortamı (ghcr.io/ggml-org/llama.cpp:server-cuda) sayesinde, sistem bağımlılıkları kontrol altına alındı. Bu, kopyalanabilirlik açısından büyük bir avantaj. Aynı yapıyı başka biri de kolayca tekrar edebilir.

Ekstra parametreler ise performansı kritik ölçüde etkiledi: --cache-type-k q8_0 ile anahtar bellek önbelleği daha verimli hale getirildi. --jinja ve --reasoning-format deepseek ise modelin cevap yapısını, insan benzeri mantıksal akışa yönlendirdi. Yani bu sadece bir model çalıştırmak değil, bir diyalog sistemi inşa etmekti.

Neden Bu Kadar Önemli? AI’nın Demokratikleşmesi

Bu başarı, yalnızca bir teknik deney değil, bir felsefi dönüşümün habercisi. Şu ana kadar, büyük modeller yalnızca Google, OpenAI veya Meta gibi dev şirketlerin elindeydi. Küçük şirketler, akademik laboratuvarlar veya bireysel geliştiriciler, bu modelleri çalıştırmak için milyonlarca dolar harcıyorlardı. Şimdi ise, biri 72 GB VRAM’li iki GPU’ya sahipse, Qwen 3.5 gibi bir modeli kendi masasında çalıştırabilir. Bu, AI’nın merkeziyetinden dağıtık yapısına geçişi simgeliyor.

Özellikle Türkiye gibi ülkelerde, AI altyapısı sınırlı olsa da, bu tür çözümler, yerel geliştiricilerin dünya standartlarında model deneyimleri yapmasını sağlıyor. Eğitim, tıbbi analiz, hukuki metin yorumlama gibi alanlarda, bu modelin yerel olarak çalıştırılması, veri gizliliği ve hız açısından büyük bir avantaj.

Gelecek: Daha Küçük Donanım, Daha Büyük Zeka

Bu deneyin sonucu, sadece Qwen 3.5 için değil, tüm büyük modeller için bir yol haritası. GGUF formatı, kvantizasyon teknikleri ve dağıtılmış hesaplama, geleceğin standartları olacak. 2025’e kadar, 100B+ modellerin 40-50 GB VRAM’le çalıştırılması normal hale gelebilir. NVIDIA’nın yeni nesil GPU’ları değil, yazılım mühendisliği, AI erişimini değiştirecek.

Şu anda bu deney, bir hobby projesi gibi görünüyor. Ama 5 yıl sonra, bu tür çözümler, üniversite laboratuvarlarında, küçük sağlık merkezlerinde, hatta evdeki bir bilgisayarda standart olacak. AI artık sadece bulutta değil, bizim elde, kendi cihazlarımızda olacak. Ve bu, teknolojinin en derin demokratikleşmesi olacak.

Not: Bu Deneyin Sınırı Nerede?

Tabii ki, bu sistemde de sınırlar var. 122B modeli, 1000+ token uzunluğunda metin üretirken yavaşlıyor. Bellek önbelleği sık sık taşınıyor, gecikmeler oluşuyor. Ancak bu, performans sorunu değil, geleceğin ilk adımı. Her yeni teknik, bu gecikmeleri azaltacak. Yalnızca donanım değil, yazılımın yaratıcılığı, bu sınırları zorluyor.