HumanEval & GSM8K
The retired classics of coding and grade-school math.
Bir benchmark kaydına bakıyorsunuz: sektörün çipleri veya modelleri ölçmek için kullandığı bir test — ve size gerçekte ne söylediği.
HumanEval (164 Python functions) and GSM8K (grade-school word problems) measured the 2021–24 climb from barely-working to near-perfect, then saturated — their history is the cleanest record of how fast base capability moved. Successors: LiveCodeBench, SWE-bench, AIME.
Bu, yığının geri kalanıyla nasıl bağlantılı?
Bu kaydın bağlantılarına hızlı bakış — bir gruba tıklayarak o bölüme atlayın.
İlgili
Kaynaklar
İncelenen kayıt tarihi: 2026-01-15 — görüntüle Metodoloji.