SWE-bench Verified
Benchmark
Capacità
Real GitHub issues, real repos — the coding-agent standard.
Stai visualizzando un record di benchmark: un test usato dal settore per misurare chip o modelli — e cosa rivela concretamente.
SWE-bench gives a model an actual repository and issue; success means a patch that passes the tests. The Verified subset (human-validated, with OpenAI) became the metric coding agents live by — from single digits in 2023 to ~80% at the 2025 frontier — and the number behind every 'AI software engineer' claim.
Come si collega al resto dello stack
I collegamenti di questa scheda a colpo d'occhio — clicca un gruppo per raggiungerlo.
Benchmark
Fonti
Record revisionato al 2026-01-15 — vedi Metodologia.