HumanEval & GSM8K
Benchmark
Capacità
The retired classics of coding and grade-school math.
Stai visualizzando un record di benchmark: un test usato dal settore per misurare chip o modelli — e cosa rivela concretamente.
HumanEval (164 Python functions) and GSM8K (grade-school word problems) measured the 2021–24 climb from barely-working to near-perfect, then saturated — their history is the cleanest record of how fast base capability moved. Successors: LiveCodeBench, SWE-bench, AIME.
Come si collega al resto dello stack
I collegamenti di questa scheda a colpo d'occhio — clicca un gruppo per raggiungerlo.
Correlati
Fonti
Record revisionato al 2026-01-15 — vedi Metodologia.