ARC-AGI
Chollet's abstraction puzzles — designed to resist everything but intelligence.
Sie sehen einen Benchmark-Eintrag: einen Test, mit dem die Branche Chips oder Modelle misst — und was er tatsächlich aussagt.
ARC's colored-grid puzzles require inferring a novel rule from a few examples — trivial for humans, brutal for pattern-matchers. o3's 87.5% high-compute result on ARC-AGI-1 (Dec 2024) was a landmark; ARC-AGI-2 promptly reset the frontier to single digits, keeping the target moving and the definition debate alive.
So hängt das mit dem Rest des Stacks zusammen
Die Verknüpfungen dieses Datensatzes auf einen Blick – klicken Sie auf eine Gruppe, um dorthin zu springen.
Benchmarks
Quellen
Datensatz geprüft am 2026-01-15 — Siehe Methodik.