HumanEval & GSM8K
The retired classics of coding and grade-school math.
Sie sehen einen Benchmark-Eintrag: einen Test, mit dem die Branche Chips oder Modelle misst — und was er tatsächlich aussagt.
HumanEval (164 Python functions) and GSM8K (grade-school word problems) measured the 2021–24 climb from barely-working to near-perfect, then saturated — their history is the cleanest record of how fast base capability moved. Successors: LiveCodeBench, SWE-bench, AIME.
So hängt das mit dem Rest des Stacks zusammen
Die Verknüpfungen dieses Datensatzes auf einen Blick – klicken Sie auf eine Gruppe, um dorthin zu springen.
Verwandt
Quellen
Datensatz geprüft am 2026-01-15 — Siehe Methodik.