Início › Benchmarks › SWE-bench Verified
SWE-bench Verified
Benchmark
Capacidade
Real GitHub issues, real repos — the coding-agent standard.
Está a ver um registo de benchmark: um teste que a indústria usa para avaliar chips ou modelos — e o que ele realmente indica.
SWE-bench gives a model an actual repository and issue; success means a patch that passes the tests. The Verified subset (human-validated, with OpenAI) became the metric coding agents live by — from single digits in 2023 to ~80% at the 2025 frontier — and the number behind every 'AI software engineer' claim.
Como este elemento se liga ao resto da stack
As ligações deste registo num relance — clique num grupo para ir diretamente até ele.
Benchmarks
Fontes
Registro revisado em 2026-01-15 — ver Metodologia.