Qwen3.5’te Dikkat Çarpışı: Kimse Artık Aynı Şeyi Görmedi

Qwen3.5’te Dikkat Çarpışı: Kimse Artık Aynı Şeyi Görmedi

Yapay zekâ dünyasında bir sarsıntı dolaşıyor. Hugging Face’te yayınlanan Maxime Labonne’in analizi, Qwen3.5 adlı büyük dil modelinin dikkat mekanizmalarında derin bir fikir birliği kaybı olduğunu ortaya koydu. Aynı model, aynı girdiyle çalıştırıldığında bile — farklı test ortamlarında, farklı değerlendirme araçlarında — tamamen farklı kararlar veriyor. Kimse artık aynı şeyi görüyor. Kimse aynı sonucu doğrulamıyor. Bu, sadece bir teknik arıza değil; AI’nın temelindeki ‘dikkat’ kavramının kendi içinde çatırdadığının işaretleri.

Neden ‘Dikkat’ Bu Kadar Önemli?

Derin öğrenmede ‘dikkat mekanizması’ (attention mechanism), modelin bir metinde hangi kelimelerin ne kadar önemli olduğunu öğrenmesini sağlar. GPT’ler, Qwen’ler, Llama’lar — tüm büyük modeller bu mekanizmaya dayanır. Dikkat, modelin ‘anlamayı’ sağlayan sinir sistemi gibidir. Bir metinde ‘kral’ kelimesi geçtiğinde, dikkat mekanizması ‘tahta’, ‘korona’, ‘soy’ gibi kelimelere odaklanır. Bu bağlamı doğru kuramazsa, model yanlış çıkarımlar yapar. Ama Qwen3.5’te bu bağlam, test edildiği yerde değişiyor.

Harness Problemi: Modeli Değil, Test Ortamını Değiştirmek Yeterli

İşte bu noktada Hacker News’te 800+ puan alan bir çalışma, bu durumu ışık altına alıyor. Can Akademi’den bir ekip, 15 farklı LLM’yi — Qwen3.5 dahil — yalnızca ‘test harness’ (test çatısı) adı verilen değerlendirme aracını değiştirerek kodlama performanslarını 30-70% artırmayı başardı. Yani: model değişmedi. Veri değişmedi. Sadece, modelin cevaplarını nasıl ölçtüğümüz değişti. Ve sonuçlar tamamen değişti.

Bu, korkutucu bir gerçeklik: Modelin ‘zekası’ değil, bizim ölçme yöntemlerimiz, modelin ‘performansını’ belirliyor. Qwen3.5, bir test aracında ‘kod üretimi’ konusunda A+ alırken, başka bir aracın ölçütlerine göre C kalitesinde kalıyor. Hangisi gerçek? Her ikisi de. Çünkü model, ölçümün nasıl yapıldığına göre ‘dikkatini’ yönlendiriyor.

Kimse Artık Aynı Şeyi Görmedi

Labonne’in analizinde, Qwen3.5’in bir kod parçasını analiz ederken dikkat haritası (attention map) — yani hangi kelimelere ne kadar odaklandığı — farklı araçlarla çalıştırıldığında tamamen farklı çıktılar veriyor. Bir araçta ‘fonksiyon adı’ kritikken, başka bir araçta ‘yorum satırı’ dikkat çekiyor. Birincisi ‘mantıklı’ görünürken, ikincisi ‘kaotik’. Ama her ikisi de gerçek. Çünkü model, ölçümün kendisine nasıl ‘sorulduğuna’ göre tepki veriyor.

Bu, bir tür ‘gözlemci etkisi’ gibi. Kuantum fiziğinde, gözlemleyenin ölçümü etkilediği gibi, AI’da da değerlendirme aracının modelin davranışını şekillendirdiği ortaya çıkıyor. Qwen3.5, aslında ‘dikkat’ yapmıyor; ‘soruyu cevaplıyor’.

Yapay Zekânın İkilemi: Gerçeklik mi, Ölçüm mü?

AI endüstrisi, şu ana kadar model performansını ‘doğruluk oranı’, ‘BLEU skoru’, ‘HumanEval’ gibi standart testlerle ölçtü. Ama Qwen3.5 ve harness çalışmaları, bu metriklerin aslında modelin iç dünyasını yansıtmadığını gösteriyor. Bunlar, modelin ‘ne yaptığını’ değil, ‘ne yapmaya zorlandığını’ ölçüyor.

Örneğin, bir test aracında ‘çözümün doğruluğu’ kritikse, model ‘çözümü’ öne çıkarır. Başka bir aracında ‘kodun okunabilirliği’ ön planda ise, model ‘dikkatini’ yorumlara ve değişken isimlerine kaydırır. Model, hiçbir zaman ‘gerçek anlamayı’ öğrenmedi. Sadece, ölçümün beklentilerine uyum sağladı.

Ne Anlama Geliyor?

• Model zekası değil, ölçüm zekası: Performansı değil, ölçüm yöntemi belirliyor.
• Standartlar çökmeye başlıyor: HumanEval, MBPP gibi testler artık güvenilir değil.
• AI güvenilirliği sorgulanıyor: Eğer modelin cevabı test aracına göre değişiyorsa, nasıl güvenebiliriz?
• Yeni bir ‘dikkat etiği’ gerekiyor: Modelin dikkatini yönlendiren, biz mi, yoksa ölçüm aracımız mı?

Qwen3.5, sadece bir model değil. Bir ayna. Bize, yapay zekânın gerçekliğini ölçmede ne kadar kararsız olduğumuzu gösteriyor. Dikkat artık bir teknik bileşen değil, bir felsefi soru haline geldi: Ne zaman bir model ‘anlıyor’ diyebiliriz? Ne zaman ‘sadece cevap veriyor’?

Gelecek: Ölçümün Yeniden İnşası

Endüstri, artık ‘daha büyük modeller’ değil, ‘daha akıllı ölçüm sistemleri’ üzerine odaklanmaya başlamalı. Modeli değil, test ortamını şeffaflaştırmak gerekiyor. Dikkat haritalarının açık kaynaklı, standartlaştırılmış, çoklu ölçümle doğrulanması şart. Aksi halde, her şirket kendi ‘kendini beğenmiş’ test aracını kuracak, ve ‘en iyi model’ diye pazarladığı şey, aslında sadece kendi ölçümünün kopyası olacak.

Qwen3.5, bir hatayı değil, bir çağın sonunu gösteriyor. Dikkat artık bir teknik detay değil, bir toplumsal anlaşmanın konusu. Ve şimdi, kimse aynı şeyi görmüyor. Çünkü artık, gördüğümüz şey, modelin değil, bizim ölçümümüzün yansıması.