MHA, GQA ve MLA: 2026'da LLM'lerde Dikkat Mekanizmalarının Görsel Karşılaştırması

2017’de "Attention Is All You Need" makalesi, yapay zekanın yolunu tamamen değiştirdi. Ancak 2026’da Llama 3, DeepSeek V3 ve Gemini 2.5 gibi modern büyük dil modelleri (LLM), orijinal Multi-Head Attention (MHA) yerine, bellek verimliliği ve hız açısından çok daha akıllı varyantları kullanıyor: Grouped-Query Attention (GQA) ve Multi-Head Latent Attention (MLA). Bu dönüşüm, yalnızca teknik bir iyileştirme değil; LLM’lerin akıllı telefonlarda, bulutlarda ve ev cihazlarında çalışabilir hale gelmesini sağlayan mimari bir devrim.

MHA: Orijinal Dikkat Mekanizması

Multi-Head Attention (MHA), her dikkat kafasının kendi Key-Value (KV) önbelleğini sakladığı orijinal transformer mimarisi. GPT-3 ve BERT gibi eski modellerde kullanıldı. Ancak bu yapı, uzun bağlam (long-context) senaryolarında kritik bir sorun yaratır:

• KV cache: Her token başına 2.6 MB bellek (Llama 2 70B, 8K uzunlukta)
• Parametre sayısı: 80 katman × 64 kafa × 128 boyut = 655.360 KV vektörü
• Bellek maliyeti: Model ağırlıklarından bile büyük

MHA, tam dikkat çeşitliliği sunar ama 2026’da gerçek dünya uygulamalarında sürdürülemez.

GQA: Bellek Tasarrufu İçin Yeni Standart

Grouped-Query Attention (GQA), 2025’ten itibaren standart haline gelen bir optimizasyondur. Llama 3, Mistral ve DeepSeek V3 gibi modellerde kullanılıyor. GQA, 64 kafayı 8 gruba bölerek, her grup ortak bir K-V çifti kullanır. Bu, bellek kullanımını %60-70 azaltır.

GQA Avantajları

• Bellek azalması: MHA’ya göre %80 daha az KV cache
• Performans kaybı: < 2% (Sebastian Raschka, 2025)
• Uzun bağlam: 50 sayfalık tıbbi rapor analizi için 30 GB → 10 GB

Matematiksel olarak: 64 kafa → 8 K-V çifti saklanır. "Dikkat artık her kafa için ayrı bir kilit değil, bir anahtarın birkaç kilitle eşleşmesi haline geldi." — Vectors & Verbs

MLA: Performans ve Verimlilik Dengesi

Multi-Head Latent Attention (MLA), GQA’dan bir adım daha ileriye gider. K ve V vektörlerini doğrudan saklamak yerine, 128 boyut yerine 32 boyutlu gizli (latent) temsillerle sıkıştırır.

MLA’nın Yeni Yaklaşımı

• Bellek azalması: MHA’ya göre %85 daha az
• Hesaplama hızı: 2x daha hızlı inference
• Model örnekleri: DeepSeek V3, NVIDIA Nemotron 3
• Risk: İnce dilbilimsel nüanslar kaybedilebilir

"Dikkat artık benzerlik aramak değil, anlamı özetlemek haline geldi." — Vectors & Verbs

2026 AI Trendleri: Dikkat Mekanizmalarının Geleceği

2026’da dikkat mekanizmaları, yalnızca "daha hızlı" değil, "daha akıllı" hale geliyor. MHA, tam doğruluk için maliyeti kabul ederdi. GQA, verimlilik için ödün verdi ama performansı korudu. MLA ise, verimliliği ve soyutlamayı birleştirdi — dikkatin doğasını yeniden tanımladı.

Öngörü: MLA, 2026 sonunda LLM’lerde %40’ın üzerinde kullanıma ulaşacak ve mobil cihazlarda 100B+ parametreli modellerin çalışmasını mümkün kılacak. Bellek verimliliği artık parametre sayısından daha önemli bir ölçüt.

Not: Bu teknolojilerin temelini oluşturan Transformer Mimarisi ve KV Cache kavramlarını anlamak için ilgili makalelere göz atın.