Strix Halo ile Qwen3.5, ROCm Üzerinde Debian’da Ne Yaptı? Enerji Verimliliği Devrimi!

Nasıl Çalıştı? Teknik Arka Plan

Bir teknoloji takımı, yapay zeka dünyasında bir dönüm noktası yarattı. Strix Halo adlı özel donanım üzerinde, Qwen3.5’in 122 milyar parametrelik versiyonu, Debian GNU/Linux 6.18.12 ve ROCm 7.12.0 ile çalıştırıldığında, beklenenin çok ötesinde bir verimlilik sergiledi. Bu sadece bir başka AI benchmark değil; AI’nın yerel cihazlarda nasıl yeniden tanımlanabileceğinin somut bir kanıtı.

Reddit’de r/LocalLLaMA’da paylaşılan bu test, yalnızca teknik detayları değil, bir felsefeyi de vurguluyor: Büyük modellerin buluta bağımlı olmasının zorunlu olmadığı. Bu kez, bir masaüstü sistemi, 122 milyar parametrelik bir modeli, düşük enerjiyle, yüksek hızla, hatta bazı senaryolarda bulut çözümlerinden daha verimli şekilde çalıştırdı.

Test, üç farklı Qwen3.5 modeli üzerinde yapıldı: 27B (Q8), 35B-A3B (Q8) ve 122B (Q5_K_M ve Q6_K quantization ile). Quantization, modelin ağırlıklarını daha az bit ile temsil ederek bellek ve işlem yükünü azaltır. Q5_K_M ve Q6_K gibi ileri düzey quantization teknikleri, doğruluk kaybını minimumda tutarken, bellek kullanımını %40-50 oranında düşürür. Bu, 122B modelin 24 GB VRAM’lı bir GPU’da bile çalışmasını mümkün kılar — bir zamanlar sadece 8 GPU’lu veri merkezlerinde mümkün olan bir şey.

Çalışma ortamı ise çok dikkat çekici: Debian 6.18.12, Linux’un en kararlı ve hafif dağıtımlarından biri. Bu, testin sadece ‘en yeni’ yazılımlarla değil, gerçek dünya koşullarında — yani sistem kaynaklarını aşırı yüklemeyen, stabil bir ortamda — yapıldığını gösteriyor. ROCm 7.12.0, AMD’nin NVIDIA CUDA’ya alternatif olarak geliştirdiği açık kaynaklı AI hesaplama platformu. Bu sürüm, özellikle Qwen serisi modeller için optimize edilmiş bir derleme ile birlikte kullanıldı. llama.cpp v8152 ise, CPU ve GPU üzerinde LLM’leri yerel olarak çalıştırmak için en popüler arka uç kütüphanesi.

Verimlilik: Enerji Tüketimi Düşerken Performans Arttı

En çarpıcı sonuç, 122B modelin Q6_K ile çalıştırıldığında, 131K kontekst uzunluğunda metin üretirken, 35W altındaki güç tüketimine ulaşmasıydı. Bu, aynı görevi Amazon EC2 g4dn.xlarge gibi bir bulut GPU instance’ında yaparken 200W+ tüketen sistemlerle kıyaslandığında, neredeyse 6 kat daha verimli bir sonuç demek. Hatta bazı testlerde, yanıt üretme hızı (tokens/second) bulut çözümlerine eşit veya daha yüksek çıktı.

Bu, sadece ‘daha az enerji’ demek değil. Daha az ısı, daha sessiz sistemler, daha uzun ömürlü donanım ve hatta evde veya küçük ofislerde AI çalıştırmayı mümkün kılan bir ekolojik dönüşüm. Daha fazla şirket, daha fazla bireysel kullanıcı, daha fazla okul — artık AI’ya erişim, yalnızca büyük şirketlerin ve veri merkezlerinin mülkü olmaktan çıkıyor.

Neden Bu Kadar Önemli?

Geçtiğimiz yıllarda AI, ‘büyüklük’ yarışına girdi. Herkes daha büyük modeller istiyordu — 70B, 100B, 175B… Ama bu modeller, sadece teknik olarak değil, ekonomik ve çevresel olarak da sürdürülemezdi. Strix Halo ve bu test, bu döngüyü kırıyor. ‘Büyük’ değil, ‘verimli’ olmak yeni kural.

ROCm’in bu düzeyde başarıya ulaşması, AMD’nin AI alanında sadece ‘alternatif’ değil, lider olma potansiyeline sahip olduğunu kanıtlıyor. Debian gibi eski, ama sağlam bir sistem üzerinde çalışması da, AI’nın ‘hızlı, yeni, pahalı’ bir trend değil, uzun ömürlü, güvenilir bir altyapı haline gelebileceğini gösteriyor.

Gelecek: Yerel AI, Evde, Okulda, Şehirde

Bu testin en büyük mesajı: AI artık sadece Amazon, Google ve Microsoft’un elinde değil. Bir öğrenci, bir küçük yazılım firması, bir kütüphane — hatta bir mahalle merkezi — artık 122B parametrelik bir modeli, kendi masaüstü bilgisayarında, düşük maliyetle ve düşük enerjiyle çalıştırmaya başlayabilir. Bu, veri gizliliğini, düşük gecikme sürelerini ve bağımsızlığı getiriyor.

Gelecek, bulut değil, yerel olacak. Strix Halo, Qwen3.5 ve ROCm’in bu birleşimi, sadece bir benchmark değil — bir çağın başlangıcı.