Início › Benchmarks › MMLU & MMLU-Pro
MMLU & MMLU-Pro
Benchmark
Capacidade
The default knowledge exam of 2020–24 — now saturated.
Está a ver um registo de benchmark: um teste que a indústria usa para avaliar chips ou modelos — e o que ele realmente indica.
MMLU's 57-subject multiple-choice exam was the standard capability score from GPT-3 (43.9%) to the high-80s frontier plateau; MMLU-Pro hardened it as scores saturated. Its arc is the pattern every benchmark follows: introduced, climbed, saturated, replaced.
Como este elemento se liga ao resto da stack
As ligações deste registo num relance — clique num grupo para ir diretamente até ele.
Relacionados
Fontes
Registro revisado em 2026-01-15 — ver Metodologia.