MMLU & MMLU-Pro
The default knowledge exam of 2020–24 — now saturated.
U bekijkt een benchmark-record: een test die de industrie gebruikt om chips of modellen te meten — en wat die test daadwerkelijk zegt.
MMLU's 57-subject multiple-choice exam was the standard capability score from GPT-3 (43.9%) to the high-80s frontier plateau; MMLU-Pro hardened it as scores saturated. Its arc is the pattern every benchmark follows: introduced, climbed, saturated, replaced.
Hoe dit aansluit op de rest van de stack
De koppelingen van dit record in één oogopslag — klik op een groep om er naartoe te springen.
Gerelateerd
Bronnen
Record beoordeeld per 2026-01-15 — bekijk Methodologie.