SWE-bench Verified
Benchmark
Kemampuan
Real GitHub issues, real repos — the coding-agent standard.
Anda sedang melihat entri benchmark: sebuah uji yang digunakan industri untuk mengukur chip atau model — dan apa yang sebenarnya ditunjukkannya.
SWE-bench gives a model an actual repository and issue; success means a patch that passes the tests. The Verified subset (human-validated, with OpenAI) became the metric coding agents live by — from single digits in 2023 to ~80% at the 2025 frontier — and the number behind every 'AI software engineer' claim.
Bagaimana ini terhubung ke bagian lain dari stack
Tautan catatan ini sekilas — klik grup untuk langsung menuju ke sana.
Benchmark
Sumber
Rekaman ditinjau per 2026-01-15 — lihat Metodologi.