Home › Onderzoeksartikelen › Training Compute-Optimal LLMs — Chinchilla (2022)
Training Compute-Optimal LLMs — Chinchilla (2022)
Onderzoeksartikel
Schaling
DeepMind's correction: most models were undertrained on data.
U bekijkt een onderzoeksartikelrecord: een invloedrijk artikel en wat het aan het vakgebied heeft toegevoegd.
Hoffmann et al. showed compute-optimal training wants ~20 tokens per parameter — far more data than the field was using — so a 70B model trained right beat a 280B one. It reshaped every subsequent training run and made data supply a first-order constraint.
Hoe dit aansluit op de rest van de stack
De koppelingen van dit record in één oogopslag — klik op een groep om er naartoe te springen.
Geschreven door
Basis voor
Gerelateerd
Bronnen
Record beoordeeld per 2026-01-15 — bekijk Methodologie.