Home › Articoli di ricerca › Training Compute-Optimal LLMs — Chinchilla (2022)
Training Compute-Optimal LLMs — Chinchilla (2022)
Articolo di ricerca
Scaling
DeepMind's correction: most models were undertrained on data.
Stai visualizzando un record di paper di ricerca: un articolo di riferimento e cosa ha introdotto nel campo.
Hoffmann et al. showed compute-optimal training wants ~20 tokens per parameter — far more data than the field was using — so a 70B model trained right beat a 280B one. It reshaped every subsequent training run and made data supply a first-order constraint.
Come si collega al resto dello stack
I collegamenti di questa scheda a colpo d'occhio — clicca un gruppo per raggiungerlo.
A cura di
Base per
Correlati
Fonti
Record revisionato al 2026-01-15 — vedi Metodologia.