AI Benchmarklerde Yeterli Rater Sayısı Nedir? AsgardBench & DLSS 4.5 ile 2026 Sonuçları

Yapay zekâ sistemlerinin performansını ölçen AI benchmarklar, yalnızca algoritmalarla değil, insan rater’ların sayısına ve çeşitliliğine bağlı olarak güvenilir hale gelir. 2026’da artık bu ölçümler, teknik verilerle değil, insan algısıyla da uyumlu olmalı. Peki, ne kadar rater yeterli? AsgardBench ve DLSS 4.5 analizleri, bu sorunun cevabını 2026 gerçek verileriyle veriyor.

Neden Rater Sayısı Kritik?

AI benchmarklarında rater sayısı, bir modelin gerçek dünya etkisini yansıtmak için temel bir faktördür. Microsoft Research’in 2026’da duyurduğu AsgardBench, yalnızca 5 rater ile yapılan değerlendirmelerde %32 tutarsızlık olduğunu gösterdi. Bu, bir modelin "iyi" olduğu iddia edilirken, aslında rater’ların rastgele tercihlerine dayandığını gösteriyor.

Ph.D. Cameron R. Wolfe’un analizlerine göre, LLM benchmarklarının %60’ından fazlası 5 veya daha az rater ile etiketlenmiş. Bu durum, klinik bir deneyde sadece 3 hasta üzerinde test yapılması gibi tehlikeli. Niteliksel değerlendirme — doğruluk, faydalılık, doğal akış — kültür, dil ve eğitim seviyesine bağlıdır. Tek bir demografik grupla yapılan ölçüm, küresel bir modelin gerçek performansını yalanlar.

AsgardBench ve DLSS 4.5: Gerçek Veriler

AsgardBench, görsel planlama görevlerinde en az 15 rater kullanmayı standart hale getirdi. Bu sayıda tutarsızlık %4’e düşüyor. Rater’lar, eğitim, dil ve deneyim açısından stratifikasyonla dengeleniyor. Bu, bireysel önyargıları minimize ediyor.

DLSS 4.5 ise, insan algısının sayısal verileri nasıl yanıltabileceğini gösteriyor. Hothardware.com’a göre, Dynamic Multi-Frame Generation (MFG) kare hızını artırıyor ama kullanıcılar bazı senaryolarda hareketin "daha kötü" olduğunu belirtiyor. Neden? İnsan beyni, kare sayısından ziyade sürekliliği ve doğallığı algılar. Bu, AI benchmarklarının sadece FPS gibi teknik verilere dayanmasının yetersiz olduğunu kanıtlıyor.

15 Rater Neden Yeterli? 3 Temel Neden

• Tutarsızlık Düşüyor: 5 rater’de %32, 15’te %4’e düşüyor (AsgardBench, 2026)
• Demografik Denge: 15+ rater ile dil, kültür ve eğitim çeşitliliği sağlanır
• İstatistiksel Güç: 15 rater, 95% güven aralığıyla anlamlı sonuçlar üretir

100 veya 500 Rater Gerekli mi?

Genelde 15-30 arası yeterli. Ancak küresel bir LLM benchmarkı için, 100+ rater ve 10+ dil grubu gerekiyor. Örneğin, bir modelin Hindi veya Arapça’da faydalılığını ölçmek için her dilde en az 10 yerel rater olmalı. 500 rater, yalnızca çok büyük ölçekli projelerde (örn. Google’s BERT multilingual) gerekebilir.

İdeal Rater Profili: Kimler Olmalı?

• 3 farklı dilde akademik veya profesyonel kullanıcı
• 3 farklı yaş grubu (18-25, 26-40, 41+)
• 3 farklı eğitim seviyesi (lise, lisans, yüksek lisans)
• En az 2 farklı kıtadan rater
• Amazon Mechanical Turk’tan değil, doğrudan kullanıcı panelinden seçilmiş

AI benchmarkları, yalnızca "kaç kare/saniye" ölçmez; "kaç insan, neyi, nasıl ve neden beğendi?" sorusunu yanıtlamalı. AsgardBench’in 15+ rater modeli, bir teknik iyileştirme değil, bir etik taahhüt. Çünkü AI, insanlar için yaratılır — ve onların algısı, en değerli veridir.

Yeterli rater sayısı, bir sayı değil, bir sorumluluk. 10 raterle "en iyi" ilan etmek, bir ilacın 5 hastada test edilip onaylanması kadar tehlikeli. 2026’da, güvenilir AI benchmarkları, rater sayısını değil, rater çeşitliliğini ölçer.