Inicio › Artículos de investigación › Training Compute-Optimal LLMs — Chinchilla (2022)
Training Compute-Optimal LLMs — Chinchilla (2022)
Artículo de investigación
Escalado
DeepMind's correction: most models were undertrained on data.
Estás viendo un registro de artículo de investigación: un paper de referencia y qué aportó al campo.
Hoffmann et al. showed compute-optimal training wants ~20 tokens per parameter — far more data than the field was using — so a 70B model trained right beat a 280B one. It reshaped every subsequent training run and made data supply a first-order constraint.
Cómo se conecta con el resto del stack
Los enlaces de esta ficha de un vistazo: haz clic en un grupo para ir directamente a él.
Escrito por
Base para
Relacionado
Fuentes
Registro revisado a fecha de 2026-01-15 — ver Metodología.