Mục cơ sở dữ liệu · 12 hồ sơ
Các benchmark
How capability and hardware are actually measured — and which yardsticks are already saturated.
Ghi chép thực địa
Benchmark là cách ngành này tính điểm, và vòng đời của chúng luôn giống nhau: ra đời, bị chinh phục, rồi bị khai thác. Câu hỏi thú vị trong mỗi mục không phải là ai đang dẫn đầu — mà là bài kiểm tra đó mất bao lâu để đi từ bất khả thi đến bão hòa.
Bắt đầu với ba khái niệm này
ML
MLPerf
Những con số duy nhất được kiểm toán và so sánh được trực tiếp trong phần cứng AI.
SB
SWE-bench Verified
Các GitHub issue thực tế — thước đo chuẩn của kỷ nguyên coding agent.
AA
ARC-AGI
Được xây dựng để chống ghi nhớ máy móc; vẫn bị phá vỡ. Rồi được xây lại kiên cố hơn.
Hardware & systems benchmarks
2
ML
MLPerf
The industry's referee for AI hardware — training and inference rounds.
TO
TOP500
The supercomputer league table since 1993 — now measuring the public sector's slice.
Model capability benchmarks
10
SB
SWE-bench Verified
Real GitHub issues, real repos — the coding-agent standard.
A(
AIME (Competition Math)
Olympiad-track problems — where reasoning models showed their jump.
AA
ARC-AGI
Chollet's abstraction puzzles — designed to resist everything but intelligence.
FR
FrontierMath
Research-grade mathematics — built unsolvable, already yielding.
GD
GPQA Diamond
Google-proof PhD science questions — the reasoning era's exam.
H&
HumanEval & GSM8K
The retired classics of coding and grade-school math.
HL
Humanity's Last Exam
2,500 expert questions with a deliberately final name.
L(
LMArena (Chatbot Arena)
Millions of blind human votes — preference as a leaderboard.
M&
MMLU & MMLU-Pro
The default knowledge exam of 2020–24 — now saturated.
MT
MTEB
The embedding leaderboard behind every retrieval stack.