Qwen3.5-35B-A3B Q4 Quantization Sınavı: Ne Kaybediyoruz, Ne Kazanıyoruz?

Q4 Quantization Nedir? Neden Önemli?

Quantization, bir yapay zekâ modelinin ağırlıklarını 32-bitlik çift hassasiyetli (BF16) sayılar yerine 4-bitlik tam sayılara dönüştürme işlemidir. Bu, modelin bellek kullanımını yaklaşık %80 azaltır, hızı artırır ve düşük güçlü cihazlarda (özellikle laptoplar ve telefonlar) çalıştırılabilir hale getirir. Ancak her indirimde bir bedel vardır. Bu bedel, modelin "düşünme yeteneği"ne yansıır.

Reddit’deki analiz, Qwen3.5-35B-A3B’in farklı Q4 quantization yöntemleriyle (GGUF, GPTQ, AWQ gibi) karşılaştırılmasını içeriyor. Burada iki temel ölçüt kullanıldı: KLD (Kullback-Leibler Divergence) ve PPL (Perplexity). KLD, modelin tahmin dağılımının orijinal BF16 versiyonundan ne kadar saptığını gösteriyor. Düşük KLD = daha az bilgi kaybı. PPL ise modelin bir sonraki kelimeyi tahmin ederken ne kadar "kararsız" olduğunu ölçer. Düşük PPL = daha güvenli ve akıllı tahminler.

Verilerdeki Şaşırtıcı Gerçekler

OpenReview’deki çalışma, sadece Qwen3.5-35B-A3B’i değil, 7 farklı akıl yürütme modelini de inceledi. Sonuçlar korkutucu: Q4 quantization, modelin mantıksal çıkarım, matematiksel çözümleme ve çok adımlı soru-cevap görevlerinde ortalama %18-24 performans kaybına yol açıyor. Bu kayıp, özellikle "neden?" ve "nasıl?" gibi açık uçlu sorularda en belirgin hale geliyor. Örneğin, bir model BF16 versiyonunda bir matematik problemini 5 adımda çözerken, Q4 versiyonu 3. adımda hata yapıyor ve yanlış sonuca varıyor.

Reddit’teki testler ise bu verileri pratik bir zemine oturtuyor. Qwen3.5-35B-A3B’in GGUF-Q4 versiyonu, KLD’de en düşük değeri (en az saptırma) sağlıyorken, AWQ-Q4 versiyonu PPL’de daha iyi performans gösteriyor. Yani: GGUF daha "doğru" düşünüyor, AWQ ise daha "hızlı" ve "güvenli" bir şekilde cevap veriyor. Bu, kullanıcıya seçim yapma sorunu sunuyor: Doğruluk mu, hız mı?

Neden Bu Farklar Oluşuyor?

Quantization, sadece bit sayısını azaltmakla kalmıyor. Ağırlıkların nasıl gruplandığı, hangi ölçeklendirme yöntemlerinin kullanıldığı, hatta hangi katmanların korunduğu bile farklılık yaratıyor. Örneğin, bazı yöntemler sadece ağırlıkları quantize ederken, bazıları aktivasyonları da etkiliyor. Bu, modelin "düşünme sürecini" bozuyor. OpenReview’in analizine göre, akıl yürütme katmanları (özellikle attention ve feed-forward katmanları) quantization’a en hassas olanlar. Bu katmanlar, bağlamı tutma ve çıkarım yapma yeteneğinin merkezidir. Onlar bozulduğunda, model sadece "kelime tahmin eden bir makine" haline geliyor.

Kimler Bu Kayıpları Yaşıyor?

Normal kullanıcılar, bir chatbotun cevabının yanlış olduğunu fark etmeyebilir. Ama akademik araştırmacılar, yazılım geliştiriciler, hukuk danışmanları veya tıbbi teşhislerde çalışanlar için bu farklar ölümcül olabilir. Örneğin, bir Q4 versiyonu, bir ilacın etkileşimini yanlış anlayabilir. Bir hukukçu, bir maddeyi yanlış yorumlayabilir. Bu kayıplar, "hızlı cevap" kavramının altında gizleniyor.

Ne Yapmalıyız?

• Kullanıcılar: Sadece "en küçük dosya"ya değil, "en düşük KLD" ve "en düşük PPL" değerlerine bakın. Reddit’teki tabloyu referans alın.
• Geliştiriciler: Q4 quantization’ı üretimde kullanmadan önce, akıl yürütme görevlerinde test edin. Sadece metin üretimi değil, mantıksal sorularla test edin.
• Topluluk: Açık kaynak modellerin quantized sürümlerine, sadece performans değil, "bilgi bütünlüğü" metrikleri de eklenmeli. KLD ve PPL, artık bir standart olmalı.

Sonuç: Hızın Bedeli, Bilginin Fiyatı

Qwen3.5-35B-A3B’in Q4 versiyonu, teknolojik bir mucize değil, bir kompromu temsil ediyor. Hız ve boyut kazanmak için, akıl yürütme gücünü satıyoruz. Bu, belki de yapay zekânın en büyük ironisi: Daha akıllı görünmek için, aslında daha az akıllı hale geliyoruz. Bu veriler, sadece bir modelin testi değil, tüm endüstrinin bir seçimi. Hangi değerleri koruyoruz? Hız mı, doğruluk mu? Cevap, sadece teknik bir karar değil, etik bir seçim.