HumanEval & GSM8K
Benchmark
Kemampuan
The retired classics of coding and grade-school math.
Anda sedang melihat entri benchmark: sebuah uji yang digunakan industri untuk mengukur chip atau model — dan apa yang sebenarnya ditunjukkannya.
HumanEval (164 Python functions) and GSM8K (grade-school word problems) measured the 2021–24 climb from barely-working to near-perfect, then saturated — their history is the cleanest record of how fast base capability moved. Successors: LiveCodeBench, SWE-bench, AIME.
Bagaimana ini terhubung ke bagian lain dari stack
Tautan catatan ini sekilas — klik grup untuk langsung menuju ke sana.
Terkait
Sumber
Rekaman ditinjau per 2026-01-15 — lihat Metodologi.