Accueil › Articles de recherche › Training Compute-Optimal LLMs — Chinchilla (2022)
Training Compute-Optimal LLMs — Chinchilla (2022)
Article de recherche
Mise à l'échelle
DeepMind's correction: most models were undertrained on data.
Vous consultez une fiche article de recherche : un article de référence et ce qu'il a apporté au domaine.
Hoffmann et al. showed compute-optimal training wants ~20 tokens per parameter — far more data than the field was using — so a 70B model trained right beat a 280B one. It reshaped every subsequent training run and made data supply a first-order constraint.
Comment cela s'articule avec le reste de la chaîne
Les liens de cette fiche en un coup d'œil — cliquez sur un groupe pour y accéder directement.
Rédigé par
Base pour
Connexes
Sources
Fiche examinée au 2026-01-15 — voir Méthodologie.