Início › Artigos científicos › Training Compute-Optimal LLMs — Chinchilla (2022)
Training Compute-Optimal LLMs — Chinchilla (2022)
Artigo científico
Escalabilidade
DeepMind's correction: most models were undertrained on data.
Está a ver um registo de artigo científico: um artigo de referência e o que introduziu na área.
Hoffmann et al. showed compute-optimal training wants ~20 tokens per parameter — far more data than the field was using — so a 70B model trained right beat a 280B one. It reshaped every subsequent training run and made data supply a first-order constraint.
Como este elemento se liga ao resto da stack
As ligações deste registo num relance — clique num grupo para ir diretamente até ele.
Escrito por
Base para
Relacionados
Fontes
Registro revisado em 2026-01-15 — ver Metodologia.