MMLU & MMLU-Pro
The default knowledge exam of 2020–24 — now saturated.
Sie sehen einen Benchmark-Eintrag: einen Test, mit dem die Branche Chips oder Modelle misst — und was er tatsächlich aussagt.
MMLU's 57-subject multiple-choice exam was the standard capability score from GPT-3 (43.9%) to the high-80s frontier plateau; MMLU-Pro hardened it as scores saturated. Its arc is the pattern every benchmark follows: introduced, climbed, saturated, replaced.
So hängt das mit dem Rest des Stacks zusammen
Die Verknüpfungen dieses Datensatzes auf einen Blick – klicken Sie auf eine Gruppe, um dorthin zu springen.
Verwandt
Quellen
Datensatz geprüft am 2026-01-15 — Siehe Methodik.