フィールドノート
この業界でスコアをつける手段がベンチマークだ。そのライフサイクルは常に同じ:導入、制覇、引退。各レコードで興味深いのは現在のトップではなく、そのテストが「不可能」から「飽和」に至るまでの速さだ。
まずこの三つから
ML
MLPerf
AIハードウェアで唯一の、監査済みのリンゴ対リンゴの数字。
SB
SWE-bench Verified
実際のGitHubイシュー――コーディングエージェント時代の基準尺。
AA
ARC-AGI
暗記への耐性を目指して構築された。それでも破られた。そしてより堅固に再構築された。
Hardware & systems benchmarks
2
ML
MLPerf
The industry's referee for AI hardware — training and inference rounds.
TO
TOP500
The supercomputer league table since 1993 — now measuring the public sector's slice.
Model capability benchmarks
10
SB
SWE-bench Verified
Real GitHub issues, real repos — the coding-agent standard.
A(
AIME (Competition Math)
Olympiad-track problems — where reasoning models showed their jump.
AA
ARC-AGI
Chollet's abstraction puzzles — designed to resist everything but intelligence.
FR
FrontierMath
Research-grade mathematics — built unsolvable, already yielding.
GD
GPQA Diamond
Google-proof PhD science questions — the reasoning era's exam.
H&
HumanEval & GSM8K
The retired classics of coding and grade-school math.
HL
Humanity's Last Exam
2,500 expert questions with a deliberately final name.
L(
LMArena (Chatbot Arena)
Millions of blind human votes — preference as a leaderboard.
M&
MMLU & MMLU-Pro
The default knowledge exam of 2020–24 — now saturated.
MT
MTEB
The embedding leaderboard behind every retrieval stack.