Startseite › Benchmarks › SWE-bench Verified
SWE-bench Verified
Benchmark
Leistungsfähigkeit
Real GitHub issues, real repos — the coding-agent standard.
Sie sehen einen Benchmark-Eintrag: einen Test, mit dem die Branche Chips oder Modelle misst — und was er tatsächlich aussagt.
SWE-bench gives a model an actual repository and issue; success means a patch that passes the tests. The Verified subset (human-validated, with OpenAI) became the metric coding agents live by — from single digits in 2023 to ~80% at the 2025 frontier — and the number behind every 'AI software engineer' claim.
So hängt das mit dem Rest des Stacks zusammen
Die Verknüpfungen dieses Datensatzes auf einen Blick – klicken Sie auf eine Gruppe, um dorthin zu springen.
Benchmarks
Quellen
Datensatz geprüft am 2026-01-15 — Siehe Methodik.