Home › Benchmarks › SWE-bench Verified
SWE-bench Verified
Benchmark
Vermogen
Real GitHub issues, real repos — the coding-agent standard.
U bekijkt een benchmark-record: een test die de industrie gebruikt om chips of modellen te meten — en wat die test daadwerkelijk zegt.
SWE-bench gives a model an actual repository and issue; success means a patch that passes the tests. The Verified subset (human-validated, with OpenAI) became the metric coding agents live by — from single digits in 2023 to ~80% at the 2025 frontier — and the number behind every 'AI software engineer' claim.
Hoe dit aansluit op de rest van de stack
De koppelingen van dit record in één oogopslag — klik op een groep om er naartoe te springen.
Benchmarks
Bronnen
Record beoordeeld per 2026-01-15 — bekijk Methodologie.