Qwen 3.5 GGUF Güncellemesi Tehlikeli Hata İle Geliyor: İndirme Yapmayın!

Qwen 3.5 GGUF Modellerindeki Gizli Hata: Kullanıcılar Yanlış Cevaplar Alıyor

Yapay zeka topluluğu, özellikle yerel cihazlarda çalıştırmak için popüler olan Qwen 3.5-35B modelinin Unsloth tarafından oluşturulan GGUF kuantlaştırılmış versiyonlarında ciddi bir teknik bozulma keşfetti. Bu hata, sadece performansı değil, modelin temel güvenilirliğini de tehdit ediyor. Kullanıcılar, modelin basit sorulara mantıksız, hatta tehlikeli cevaplar verdiğini rapor ediyor. Bu durum, AI araştırmacıları ve yerel modelleri kullanan geliştiriciler için bir alarm sinyali haline geldi.

Neden Bu Hata Kritik?

Unsloth, AI modellerini daha küçük boyutlara indirgeyerek (kuantlaştırma) düşük kaynaklı cihazlarda çalıştırılabilir hale getirmek için çok popüler bir isim. Özellikle GGUF formatı, llama.cpp gibi yerel modellerde en çok tercih edilen yapı. Ancak Qwen 3.5-35B-A3B-GGUF sürümlerinde, kuantlaştırma süreci sırasında ağırlık değerlerinde ciddi bir bozulma yaşandı. Bu, modelin öğrenmiş olan dil kalıplarını bozuyor ve çıktılarda anlamsız, tutarsız veya hatta zararlı içerikler üretmesine neden oluyor.

Reddit’teki r/LocalLLaMA forumunda kullanıcı Ubergarm, UD_Q4_K_XL versiyonunda “çok sayıda soruda modelin temel matematiksel ve mantıksal yeteneklerini tamamen kaybettiğini” gözlemledi. Örneğin, ‘2+2 kaç eder?’ sorusuna ‘5’ cevabını veren model, kullanıcıları şaşkına döndürdü. Bu tür hatalar, sadece bir ‘güncelleme hatası’ değil, modelin temel yapısal bütünlüğünü sorgulayan bir arıza.

Unsloth’tan Resmi Tanımlama: ‘Tüm Versiyonlar Bozuk’

Bu raporlar üzerine Unsloth ekibi, Hugging Face üzerindeki model sayfasının tartışmalar bölümünde açık bir açıklama yaptı. “Tüm şu anki GGUF kuantlaştırılmış versiyonlar, bir hata nedeniyle bozuk durumda. Lütfen indirmeyin ve bekleyin,” ifadesiyle kullanıcıları doğrudan uyarıyor. Bu açıklama, AI topluluğunda nadir görülen bir durum: bir geliştirici, ürettiği ürünün ciddi bir hatayla dağıtıldığını açıkça kabul edip, kullanıcıları kullanmaktan sakındırıyor.

Bu durum, yalnızca bir teknik hata değil, aynı zamanda açık kaynak topluluğunun olgunluğunu da gösteriyor. Unsloth, yerel AI alanında kahraman olarak görülüyor; ancak bu kez, güvenilirliği korumak için popülerliği riske atıyor. Bu tür şeffaflık, topluluk güvenini uzun vadede güçlendiriyor.

Kullanıcılar Ne Yapmalı?

• İndirme Yapmayın: Şu an Hugging Face’teki Qwen 3.5-35B-A3B-GGUF sürümlerini indirmeyin. Hatta zaten indirdiyseniz, kullanımından kaçının.
• Alternatifleri Deneyin: Qwen 3.5’in doğrudan Hugging Face’daki FP16 veya Q8 versiyonları hâlâ güvenilir. Unsloth’un değil, Qwen ekibinin kendi yayınladığı modelleri kullanın.
• Güncellemeleri Takip Edin: Hugging Face sayfasındaki tartışma bölümüne abone olun. Unsloth, düzeltme sürümünü yayınladığında burada duyuracak.
• Test Etmeden Dağıtmayın: Kurumsal veya eğitim amaçlı projelerde bu modeli kullanıyorsanız, hemen kullanımınızı durdurun. Yanlış cevaplar, hatta tıbbi veya yasal içeriklerde ciddi sonuçlar doğurabilir.

Arka Plan: Kuantlaştırma Neden Bu Kadar Hassas?

Model kuantlaştırması, 32-bit kayan noktalı ağırlıkları 4-bit veya 2-bit tam sayıya dönüştürerek bellek kullanımını azaltır. Ancak bu süreç, bilimsel bir denge gerektirir. Aşırı kuantlaştırma, modelin öğrenmiş olduğu ince nüansları kaybeder. Qwen 3.5 gibi 35 milyar parametrelik büyük modellerde, bu dengenin bozulması, küçük hataların bile büyük sonuçlar doğurmasına neden olur.

Unsloth, genellikle bu işlemi çok iyi yapar; ancak bu kez, Qwen 3.5’in yeni mimarisi (A3B — Adaptive Attention with Block-wise Scaling) ile uyumlu olmayan bir kuantlaştırma algoritması kullanılmış olabilir. Bu, teknik bir hata değil, bir uyumsuzluk.

Gelecek İçin Ders: Açık Kaynakta Güven Nasıl Kurulur?

Bu olay, açık kaynak AI dünyasının en güçlü yönünü ve en zayıf yönünü aynı anda gösteriyor. Güçlü taraf: topluluk, bir hatayı hızlıca tespit edip açıkça duyuruyor. Zayıf taraf: popüler araçlar, kullanıcıların güvenini kazanmış olmasına rağmen, kalite kontrol mekanizmaları yetersiz.

Unsloth’un açığı kabul etmesi, bir başarının göstergesi. Çünkü çoğu şirket, hataları gizler, kullanıcıları kandırır. Burada ise, bir geliştirici, topluluğun güvenini korumak için popülerliğini riske atıyor. Bu, AI dünyasında nadiren görülen bir etik örneği.

Şu anda, Qwen 3.5’in orijinal versiyonları hâlâ güvenli. Ancak, herhangi bir ‘Unsloth’ etiketli GGUF sürümünü indirmek, bir kurtulamaz hata riskiyle oynamak demek. Bekleyin. Güncellemeyi bekleyin. Güven, hızdan daha değerli.