MMLU & MMLU-Pro
Benchmark
Kemampuan
The default knowledge exam of 2020–24 — now saturated.
Anda sedang melihat entri benchmark: sebuah uji yang digunakan industri untuk mengukur chip atau model — dan apa yang sebenarnya ditunjukkannya.
MMLU's 57-subject multiple-choice exam was the standard capability score from GPT-3 (43.9%) to the high-80s frontier plateau; MMLU-Pro hardened it as scores saturated. Its arc is the pattern every benchmark follows: introduced, climbed, saturated, replaced.
Bagaimana ini terhubung ke bagian lain dari stack
Tautan catatan ini sekilas — klik grup untuk langsung menuju ke sana.
Terkait
Sumber
Rekaman ditinjau per 2026-01-15 — lihat Metodologi.