Datenbankbereich · 12 Datensätze
Benchmarks
How capability and hardware are actually measured — and which yardsticks are already saturated.
Feldnotizen
Benchmarks sind die Währung, mit der diese Branche Punkte zählt, und ihr Lebenszyklus ist immer derselbe: eingeführt, gemeistert, abgelöst. Die interessante Frage bei jedem Eintrag ist nicht der aktuelle Spitzenreiter – sondern wie schnell der Test von unmöglich zu gesättigt wurde.
Mit diesen drei beginnen
ML
MLPerf
Die einzigen auditierten Äpfel-zu-Äpfel-Zahlen in der KI-Hardware.
SB
SWE-bench Verified
Echte GitHub-Issues – der Maßstab der Coding-Agent-Ära.
AA
ARC-AGI
Entwickelt, um Auswendiglernen zu verhindern – und trotzdem gescheitert. Dann härter neu gebaut.
Hardware & systems benchmarks
2
ML
MLPerf
The industry's referee for AI hardware — training and inference rounds.
TO
TOP500
The supercomputer league table since 1993 — now measuring the public sector's slice.
Model capability benchmarks
10
SB
SWE-bench Verified
Real GitHub issues, real repos — the coding-agent standard.
A(
AIME (Competition Math)
Olympiad-track problems — where reasoning models showed their jump.
AA
ARC-AGI
Chollet's abstraction puzzles — designed to resist everything but intelligence.
FR
FrontierMath
Research-grade mathematics — built unsolvable, already yielding.
GD
GPQA Diamond
Google-proof PhD science questions — the reasoning era's exam.
H&
HumanEval & GSM8K
The retired classics of coding and grade-school math.
HL
Humanity's Last Exam
2,500 expert questions with a deliberately final name.
L(
LMArena (Chatbot Arena)
Millions of blind human votes — preference as a leaderboard.
M&
MMLU & MMLU-Pro
The default knowledge exam of 2020–24 — now saturated.
MT
MTEB
The embedding leaderboard behind every retrieval stack.