होम › रिसर्च पेपर › Training Compute-Optimal LLMs — Chinchilla (2022)
Training Compute-Optimal LLMs — Chinchilla (2022)
रिसर्च पेपर
स्केलिंग
DeepMind's correction: most models were undertrained on data.
आप एक research paper रिकॉर्ड देख रहे हैं: एक महत्वपूर्ण paper और इसने इस क्षेत्र में क्या नया पेश किया।
Hoffmann et al. showed compute-optimal training wants ~20 tokens per parameter — far more data than the field was using — so a 70B model trained right beat a 280B one. It reshaped every subsequent training run and made data supply a first-order constraint.
यह बाकी स्टैक से कैसे जुड़ता है
इस रिकॉर्ड के लिंक एक नज़र में — किसी समूह पर क्लिक करके उस पर जाएँ।
द्वारा लिखित
का आधार
संबंधित
स्रोत
रिकॉर्ड की समीक्षा की गई 2026-01-15 — देखें पद्धति.