LLM'ler Essay Puanlamada İnsanlar Gibi Değil: 2024 ArXiv Araştırmasının 3 Sürprizi

LLM'ler essay puanlamada insanlar gibi değil — bu, 2024’te arXiv’de yayınlanan derin bir araştırmada açıkça ortaya çıktı. GPT ve Llama modelleri, insan not vericileriyle tamamen farklı kriterlerle çalışıyor. Bu bulgular, otomatik essay puanlama sistemlerinin eğitimdeki kullanımını kökten sorgulamaya zorluyor.

LLM'ler Essay Puanlamada İnsanlar Gibi Değil: Neden?

İnsan öğretmenler, argüman derinliğini, tonu, özgünlüğü ve düşüncenin akışını değerlendirir. LLM'ler ise sadece yüzeysel sinyalleri ölçer: metin uzunluğu, dil hatası sayısı ve pozitif kelime sıklığı.

Yüzeysel İyilik Yüksek Puan Alır

Kısa, basit ve hata az essay’ler, LLM’ler tarafından yüksek puan alır. Çünkü modeller, "uzunluk = çaba" ve "az hata = kalite" örüntülerini öğrenmiştir.

Derin İçerik Düşük Puan Alır

Uzun, zengin ve düşünceli yazılar, küçük imla veya noktalama hataları nedeniyle ciddi şekilde puan kaybediyor. Bu, özellikle İngilizce ikinci dil öğrencilerini dezavantajlı hale getiriyor.

LLM'lerin Gerçek Amacı: İçeriği Değil, Örüntüyü Öğrenmek

LLM’lerin verdiği geri bildirimler, kendi içsel kurallarıyla tutarlıdır — ama insan pedagojisiyle değil. "Harika bir fikir!" diyorsa yüksek puan, "çok tekrar var" diyorsa düşük puan verir.

İnsanlar: Bağlamı Anlar, LLM’ler: İstatistikleri Okur

İnsan öğretmen, "çok üzgün" veya "son dakikada yazmış" gibi duygusal bağlamı anlar. LLM’ler ise bunları algılayamaz. Metnin semantik derinliğini değil, istatistiksel desenleri öğrenmiş durumda.

Yazım Hataları vs. Fikir Derinliği

İnsanlar küçük hataları göz ardı eder, LLM’ler ise bunları "kötü yazım" olarak yorumlar. Bu, değerlendirme adil değil, formel bir sınıflandırma haline gelmiştir.

Eğitimdeki Riskler ve Çözümler: 2024 ArXiv Araştırmasının Dersleri

ABD ve Avrupa’daki üniversiteler, LLM’leri otomatik essay puanlama için kullanmaya başlamış. Ancak bu, öğrenmeyi değil, sistemi manipüle etmeyi öğretiyor.

Risk: Öğrenciler Formu Öğreniyor, İçeriği Değil

Öğrenciler artık "kısa ve hatasız" yazmayı hedefliyor. İçerik, argüman ve analiz yerine, form ve yapı öncelikli hale geliyor.

Çözüm: LLM'ler Yardımcı, İnsanlar Karar Verici Olmalı

LLM’ler, anında geri bildirim, yazım hatalarını tespit etme ve yapısal eksiklikleri işaretleme gibi destekleyici görevlerde mükemmel. Ancak son kararı vermek, bağlamı yorumlamak ve adil değerlendirme yapmak — insan öğretmenin sorumluluğudur.

2026’da, eğitimdeki gerçek ilerleme, makinenin hızını ve insanın derinliğini birleştirmekle mümkündür. LLM'ler essay puanlamada insanlar gibi değil — ve bu, bir kusur değil, bir fırsat.