Ryzen AI Max ile Llama3 Hızı %100 Arttı: ROCm'nin Sırıttığı Yeni Dönem

ROCm’nin Sırıttığı Yeni Dönem: Ryzen AI Max’te Llama3’ün Hızı %100 Arttı

Geçtiğimiz haftalarda, yapay zeka topluluğu içinde sessiz bir devrim yaşandı. AMD’nin yeni nesil Ryzen AI Max çipine entegre edilen Strix Halo mimarisi, llama-cpp ROCm sürümlerinin son güncellemeleriyle metin işleme hızında %98’e varan bir artış kaydetti. Bu sadece bir teknik iyileştirme değil; GPU tabanlı yerel AI modellerinde Vulkan’ın uzun süredir egemen olduğu alanda, ROCm’nin ilk kez gerçek bir rekabet gücü kazandığını gösteren bir dönüm noktası.

Önceki yıllarda, ROCm — AMD’nin NVIDIA CUDA’ya alternatif olarak geliştirdiği açık kaynak GPU hesaplama platformu — özellikle prompt processing (girdi metni işleme) aşamasında ciddi bir performans eksikliğiyle tanınıyordu. Kullanıcılar, aynı modeli Vulkan ile çalıştırdıklarında 2-3 kat daha hızlı sonuçlar alıyor, bu yüzden AMD çiplerini yerel AI projelerinde tercih etmekten kaçınıyordu. Ancak Şubat 2025’ten itibaren, lemonade-sdk tarafından geliştirilen llamacpp-rocm güncellemeleri, bu dengeleri tamamen değiştirdi.

Nasıl Oldu? Teknik Sırrın Ardında

Yeni ROCm sürümleri (özellikle 1188 versiyonu), AMD’nin RDNA 3.5 mimarisine daha derin bir şekilde uyum sağladı. Geliştiriciler, tensor operasyonlarını, bellek erişim pattern’lerini ve GPU iş parçacıklarının senkronizasyonunu yeniden optimize etti. Özellikle, Llama3 tabanlı modellerdeki küçük boyutlu (30B-120B) ağırlıkların veri akışını, ROCm’nin yeni nesil MI300X tabanlı birimlerle tam olarak eşleştiren bir önbellekleme algoritması etkili oldu. Bu sayede, modelin girdi metnini (prompt) belleğe yüklerken oluşan gecikmeler, önceki sürümlerdeki %50’lik bir verimlilikten %98’e yükseldi.

Örneklerle açıklayalım: Nemotron-3-Nano-30B-A3B-Q8_0 modeli, Vulkan ile 1043 token/saniye hızında çalışırken, eski ROCm 1184 sürümünde bu değer sadece 501’e düşüyordu. Yeni ROCm 1188 ile bu sayı 990’e ulaştı — yani Vulkan’a sadece %5 geride kaldı. GPT-OSS-120B-MXFP4 gibi daha büyük modellerde ise artış %90’ın üzerinde. Bu, yalnızca küçük modellerde değil, gerçek dünya uygulamalarında bile kullanılabilecek bir performans seviyesi.

Token Üretimi Değişmedi: Neden?

İlginç bir nokta: Token üretimi (output generation) hızında neredeyse hiç bir değişim yaşanmadı. Bu, ROCm’nin sadece girdi işleme (prompt) aşamasında yapısal iyileştirmeler yaptığı anlamına geliyor. Token üretimi, daha çok modelin aritmetik yoğunluğu ve bellek bant genişliğiyle ilgili. Bu süreçte, NVIDIA’nın CUDA ve Tensor Core’ları hâlâ avantajlı. Ancak bu durum, ROCm’nin şimdi "hızlı girdi" alanında lider olmaya başladığını gösteriyor. Yani: Siz bir soru soruyorsanız, AMD çipi onu daha hızlı anlıyor. Cevabı üretirken ise hâlâ NVIDIA önde.

Neden Bu Kadar Önemli?

• Yerel AI’ya Yeni Bir Dönem: Artık bir laptopta, Ryzen AI Max ile, 30B’lik bir Llama3 modelini Vulkan’a kıyasla neredeyse aynı hızda çalıştırabiliyorsunuz. Bu, bulut bağımlılığını azaltıyor ve veri gizliliği açısından büyük bir avantaj.
• NVIDIA’ya Karşı Stratejik Bir Darbe: NVIDIA, CUDA ekosistemine dayanarak uzun yıllar pazarı tekelleştirdi. ROCm’nin bu kadar hızlı bir gelişimi, özellikle açık kaynak topluluğu için bir özgürlük sinyali.
• Veri Merkezleri ve Kişisel AI İçin Fark Yaratan Fiyat: Ryzen AI Max çipleri, NVIDIA H100 gibi GPU’larla kıyaslandığında %70 daha ucuz. Performans farkı artık %5’te. Bu, küçük şirketler ve bireysel geliştiriciler için bir devrim.

GLM Modeli Neden İstisna?

İlginç bir detay: GLM modeli, hem Vulkan hem de ROCm’de hemen hemen aynı hızda çalışıyordu. Bu, GLM’nin yapısal olarak daha verimli bir bellek erişim modeline sahip olduğunu gösteriyor. Yani, bazı modeller zaten optimizasyona çok az ihtiyaç duyuyor. Bu da, gelecekteki optimizasyonların sadece "model" değil, "model + donanım + yazılım" üçlüsüne yönelik olacağını gösteriyor.

Gelecek: ROCm’nin Sıradaki Hedefi

Bu başarı, AMD’nin ROCm 5.7 ve sonrası sürümlerinde daha da ilerlemesini sağlayacak. Geliştiriciler, artık "Vulkan mı, ROCm mı?" sorusunu sormaktan ziyade, "Hangi model hangi platformda daha iyi çalışır?" sorusuna odaklanmaya başlıyor. Bu, AI donanım piyasasında gerçek bir çoğulculuğa açılan kapı.

Meta’nın yakında 400B+ boyutunda Llama4’ü piyasaya süreceği haberleriyle, bu tür optimizasyonlar daha da kritik hale geliyor. Büyük modeller, daha fazla bellek ve daha hızlı girdi işleme gerektiriyor. Ryzen AI Max ve ROCm’nin bu başarısı, geleceğin AI cihazlarının evde, ofiste, otobüste bile çalışabileceğini gösteriyor. NVIDIA hâlâ lider, ama artık yalnız değil.