MMLU & MMLU-Pro
The default knowledge exam of 2020–24 — now saturated.
Bir benchmark kaydına bakıyorsunuz: sektörün çipleri veya modelleri ölçmek için kullandığı bir test — ve size gerçekte ne söylediği.
MMLU's 57-subject multiple-choice exam was the standard capability score from GPT-3 (43.9%) to the high-80s frontier plateau; MMLU-Pro hardened it as scores saturated. Its arc is the pattern every benchmark follows: introduced, climbed, saturated, replaced.
Bu, yığının geri kalanıyla nasıl bağlantılı?
Bu kaydın bağlantılarına hızlı bakış — bir gruba tıklayarak o bölüme atlayın.
İlgili
Kaynaklar
İncelenen kayıt tarihi: 2026-01-15 — görüntüle Metodoloji.