SWE-bench Verified
Real GitHub issues, real repos — the coding-agent standard.
Vous consultez une fiche benchmark : un test utilisé par l'industrie pour mesurer des chips ou des modèles — et ce qu'il révèle concrètement.
SWE-bench gives a model an actual repository and issue; success means a patch that passes the tests. The Verified subset (human-validated, with OpenAI) became the metric coding agents live by — from single digits in 2023 to ~80% at the 2025 frontier — and the number behind every 'AI software engineer' claim.
Comment cela s'articule avec le reste de la chaîne
Les liens de cette fiche en un coup d'œil — cliquez sur un groupe pour y accéder directement.
Benchmarks
Sources
Fiche examinée au 2026-01-15 — voir Méthodologie.