MMLU & MMLU-Pro
Бенчмарк
Возможности
The default knowledge exam of 2020–24 — now saturated.
Перед вами запись о бенчмарке — тесте, который индустрия использует для оценки чипов или моделей, — и о том, что он реально показывает.
MMLU's 57-subject multiple-choice exam was the standard capability score from GPT-3 (43.9%) to the high-80s frontier plateau; MMLU-Pro hardened it as scores saturated. Its arc is the pattern every benchmark follows: introduced, climbed, saturated, replaced.
Место в общей экосистеме
Ссылки этой записи с первого взгляда — нажмите на группу, чтобы перейти к ней.
Связанные
Источники
Запись актуальна на 2026-01-15 — смотреть Методология.