Logarithmic Scores vs Power-Law: AI Agent Değerlendirmede Ölçüm ve Kapsamı Ayırın (2026)

Yapay zeka sistemlerinin performansını değerlendirmek, artık sadece doğruluk oranı veya hızla sınırlı değil. 2026'da, agent bazlı değerlendirme alanında en büyük fark, logarithmic scores ile power-law dağılımları arasındaki kritik ayrımı anlayabilmekte. Bu iki kavram, görünüşte benzer görünseler de, biri ajanın tahmin kalitesini ölçerken, diğeri gerçek dünya etkileşimlerinin kapsamlı boyutunu ortaya çıkarır. Bu ayrım, AI sistemlerinin gerçek dünyadaki etkisini anlamanın anahtarıdır.

Logarithmic Scores: Ölçümün Matematiksel Temeli

Logarithmic scores, bir ajanın olasılık tahminlerinin istatistiksel doğruluğunu ölçen bir fonksiyondur. Örneğin, bir ajan bir olayın %99 olasılıkla gerçekleşeceğini tahmin ederse ve bu olay gerçekleşmezse, skoruna ciddi bir ceza uygulanır. Bu yöntem, aşırı güvenli tahminleri cezalandırarak ajanların daha dengeli olasılık tahminleri yapmasını teşvik eder.

Neden Logarithmic Score Yeterli Değil?

Logarithmic score, yalnızca tahminlerin doğruluğunu ölçer, ancak kapsadığı olay türlerini değil. Bir ajan, günlük piyasa dalgalanmalarında %94 doğrulukla tahmin yapabilir ve yüksek bir logarithmic score elde edebilir. Ancak bu ajan, bir kriz, pandemi veya siyasi darbe gibi nadir ama devasa etkili olayları tamamen göz ardı ediyorsa, bu skor onun gerçek dünyadaki değersizliğini gizler.

AI Performance Metrics'te Sık Yapılan Hata

2023 ve 2024'te yapılan araştırmalar, finansal kurumların %78'inde, sadece logarithmic score'a dayanarak ajan seçimi yapıldığını gösterdi. Bu, AI performance metrics alanında en yaygın hatalardan biri. Doğruluk yüksekse, sistem güvenilir sanılıyor — ancak kapsam eksikliği göz ardı ediliyor.

Power-Law ve Kapsam: Gerçek Dünya Etkileşimleri

Power-law dağılımı, gerçek dünyadaki olayların büyük çoğunluğunun nadir, ancak devasa etkili olaylarla belirlendiğini gösteren bir matematiksel modeldir. Finansal piyasalarda, %95 olay küçük dalgalanmalar iken, %5’i (örneğin 2020 pandemisi, 2025 Türkiye depremi, 2026 döviz krizi) toplam kayıpların %80’ini oluşturur.

Power-Law Coverage: Nadir Olayları Nasıl Ölçeriz?

Power-law coverage indeksi, bir ajanın nadir olayları ne sıklıkla ve ne kadar doğru tahmin ettiğini, olayların etki büyüklüğüne göre ağırlıklı olarak hesaplar. Örneğin, bir ajan 1000 küçük olayda %90 doğrulukla tahmin yapıyorsa, ancak 5 büyük krizde 4’ünü kaçırmışsa, coverage indeksi sıfıra yakındır.

Rare Event Modeling ve AI Transparansı

Rare event modeling, power-law coverage’in temelini oluşturur. Bu model, yalnızca veriye dayalı tahminler değil, AI transparency’yi de gerektirir: Hangi olayları göz ardı ettiğiniz açıkça belirtilmeli. 2026’da, bu şeffaflık, yasal zorunluluk haline geliyor.

Agent Bazlı Değerlendirmede İki Boyutu Ayırmak

2026'da, bir AI ajanının performansını değerlendirmek için artık tek bir metrik yeterli değil. Yeni standart, çift boyutlu değerlendirme çerçevesi’dir:

• Logarithmic Score: "Ajan ne kadar doğru tahmin ediyor?" — İstatistiksel doğruluk
• Power-Law Coverage: "Ajan hangi olayları gerçekten kapsıyor?" — Gerçek dünya etki alanının kapsamlılığı

Pratik Uygulama: Otomatik Yatırım Sistemleri

2023’te bir ABD bankası, yüksek logarithmic score’lu bir ajanı tercih etti. Ancak bu ajan, 2025 döviz krizini ve 2026 enflasyon patlamasını tamamen göz ardı etti. Sonuç: 2.3 milyar dolarlık kayıp. Raporlarda yalnızca "doğruluk düşük" yazıyordu — coverage eksikliği hiç bahsedilmemişti.

İleri Düzey: Kritik Altyapılarda Uygulama

Özellikle şu alanlarda bu iki ölçüm birlikte kullanılmak zorunda:

• Healthcare AI: Nadir hastalıkların erken teşhisi
• Otonom araçlar: Sınırlı sıklıkta ama ölümcül riskler (yaya çarpmaları, fren arızaları)
• Kamu güvenliği: Terör saldırıları, elektrik şebekesi çökmeleri

Burada küçük hatalar kabul edilebilir, ancak büyük, nadir hatalar yaşam kaybına yol açar. Bu nedenle, decision-making systems’de yalnızca doğruluk değil, kapsamlılık kritiktir.

2026 Standartları: Performans Raporu Nasıl Olmalı?

Gelecekte, her AI ajanının performans raporu iki grafikten oluşacak:

1. Logarithmic Score eğrisi (tahmin doğruluğu)
2. Power-Law Coverage histogramı (nadir olayların kapsamı)

Bu iki grafik, hem teknik hem etik açıdan hesap verebilirliği sağlar. Geliştiriciler artık yalnızca "doğru" olmakla kalmayacak, aynı zamanda "kapsamlı" olmakla da sorumlu tutulacak.

İç link önerileri: AI transparency | decision-making systems