Benchmarks | AI Infrastructure Database

फील्ड नोट्स

Benchmark इस उद्योग में स्कोर रखने का तरीका है, और उनका जीवन-चक्र हमेशा एक जैसा होता है: पेश किया गया, जीत लिया गया, सेवानिवृत्त किया गया। हर रिकॉर्ड पर दिलचस्प सवाल मौजूदा नेता नहीं है — बल्कि यह है कि टेस्ट असंभव से संतृप्त तक कितनी तेज़ी से पहुँचा।

इन तीन से शुरू करें

ML MLPerf AI हार्डवेयर में एकमात्र ऑडिट किए गए apples-to-apples नंबर। SB SWE-bench Verified असली GitHub issues — coding-agent युग का मापदंड। AA ARC-AGI याद रखने से बचने के लिए बनाया गया; फिर भी टूटा। तब और कठिन बनाकर फिर से तैयार किया गया।

Hardware & systems benchmarks

ML MLPerf The industry's referee for AI hardware — training and inference rounds. TO TOP500 The supercomputer league table since 1993 — now measuring the public sector's slice.

Model capability benchmarks

SB SWE-bench Verified Real GitHub issues, real repos — the coding-agent standard. A( AIME (Competition Math) Olympiad-track problems — where reasoning models showed their jump. AA ARC-AGI Chollet's abstraction puzzles — designed to resist everything but intelligence. FR FrontierMath Research-grade mathematics — built unsolvable, already yielding. GD GPQA Diamond Google-proof PhD science questions — the reasoning era's exam. H& HumanEval & GSM8K The retired classics of coding and grade-school math. HL Humanity's Last Exam 2,500 expert questions with a deliberately final name. L( LMArena (Chatbot Arena) Millions of blind human votes — preference as a leaderboard. M& MMLU & MMLU-Pro The default knowledge exam of 2020–24 — now saturated. MT MTEB The embedding leaderboard behind every retrieval stack.