SWE-bench Verified
Бенчмарк
Возможности
Real GitHub issues, real repos — the coding-agent standard.
Перед вами запись о бенчмарке — тесте, который индустрия использует для оценки чипов или моделей, — и о том, что он реально показывает.
SWE-bench gives a model an actual repository and issue; success means a patch that passes the tests. The Verified subset (human-validated, with OpenAI) became the metric coding agents live by — from single digits in 2023 to ~80% at the 2025 frontier — and the number behind every 'AI software engineer' claim.
Место в общей экосистеме
Ссылки этой записи с первого взгляда — нажмите на группу, чтобы перейти к ней.
Бенчмарки
Источники
Запись актуальна на 2026-01-15 — смотреть Методология.