Yeni Bir Benchmark: LLM'lerin Age of Empires 2 Yapım Siparişleri Üzerindeki Performansı

2024 yılında, yapay zeka araştırmacıları büyük dil modellerinin (LLM) stratejik oyunlarda gerçek zamanlı karar verme yeteneklerini ölçmek için ilk kez bir özel benchmark sistemi geliştirdi. Bu sistem, Age of Empires II: Definitive Edition'da oynanan yapım siparişlerini (build orders) temel alıyor. Hedef, AI modellerinin sadece metin tabanlı bilgiyi değil, aynı zamanda zamanlamayı, kaynak yönetimi stratejilerini ve dinamik savaş senaryolarını anlamayı ve bu bilgileri gerçekçi bir oyun ortamında uygulamayı becerip beceremediğini değerlendirmektir.

Yapım Siparişleri: AI'nın Stratejik Zekasının Test Alanı

Age of Empires II, 10.000'den fazla farklı yapım siparişi ve binlerce stratejik değişken içeren karmaşık bir strateji oyunudur. Bu siparişler, oyuncunun hangi bina ve birimi ne zaman inşa edeceğini, hangi teknolojileri önceliklendireceğini ve rakibine karşı ne zaman saldırıya geçeceğini belirler. Araştırmacılar, GPT-4o, Claude 3.5, Grok-2 ve LocalLLaMA gibi en gelişmiş LLM'leri bu siparişlerin tamamını doğrulukla üretmeye ve oyun içi senaryolara göre optimize etmeye zorladı.

Testlerde, modellerin sadece doğru yapıları listelemekle kalmayıp, oyunun gelişim aşamasına (Örnek: Yaşamın İkinci Dönemi) göre dinamik olarak siparişleri değiştirmesi de bekleniyordu. Örneğin, bir modelin "Feudal Age'de 12 köylüye geçiş yaparken 2 atlı okçu üret" talimatını vermesi yeterli değildi; aynı zamanda kaynak tükenmesi durumunda alternatif bir strateji sunması gerekiyordu.

Performans Sonuçları: GPT-4o Öne Çıktı

2024 Şubat itibarıyla yapılan 1.200 test senaryosunda, GPT-4o %87,3 doğruluk oranıyla en iyi performansı gösterdi. Claude 3.5 %81,1, Grok-2 ise %76,4 oranında başarılı oldu. Ancak tüm modeller, "kaynak optimizasyonu" ve "rakip hareketlerine tepki verme" gibi yüksek düzeydeki stratejik kararlar konusunda hatalar yaptı. Özellikle, oyunun "Dark Age" ve "Castle Age" geçişlerinde zamanlamayı yanlış hesaplayan modeller, oyunu 15 dakika içinde kaybetme olasılığını artırdı.

İlginç bir bulgu ise, LocalLLaMA gibi açık kaynaklı modellerin, daha küçük parametre boyutlarına rağmen, belirli yapım siparişlerinde GPT-4o'ya yakın performans göstermesiydi. Bu, veri kalitesinin ve eğitimi özel stratejik oyun verileriyle sınırlamakla elde edilen başarıyı gösteriyor.

Gelecek: AI ve Stratejik Oyunların Sınırı

Bu benchmark, sadece Age of Empires II için değil, gelecekteki otonom sistemlerin — örneğin lojistik, askeri strateji simülasyonları veya otomatik ekonomik karar verme sistemleri — nasıl geliştirileceğine dair kritik bir model sunuyor. Araştırmacılar, bu yöntemi StarCraft II ve Civilization VI gibi diğer strateji oyunlarına genişletmeyi planlıyor.

AI'nın oyunlarda insan gibi düşünmesi, yalnızca eğlence değil, gerçek dünya karar verme süreçlerinin daha iyi anlaşılmasına da yol açıyor. Bu çalışma, yapay zekanın sadece dil işleme değil, aynı zamanda uzamsal, zamanlamalı ve kaynak-bazlı akıl yürütme yeteneğinin de ölçülebilir olduğunu kanıtlıyor.

• Yapım siparişleri, AI'nın stratejik düşünme kapasitesini ölçmenin en gerçekçi yollarından biridir.
• GPT-4o, 2024'te en iyi performansı gösteren model olarak öne çıktı.
• Açık kaynaklı modeller, veri kalitesi ile rekabet edebilir.
• Bu yöntem, gelecekteki otomatik lojistik ve askeri simülasyonlarda kullanılabilir.