Startseite › Forschungspapiere › Training Compute-Optimal LLMs — Chinchilla (2022)
Training Compute-Optimal LLMs — Chinchilla (2022)
Forschungspapier
Skalierung
DeepMind's correction: most models were undertrained on data.
Sie sehen einen Forschungspapier-Eintrag: ein wegweisendes Paper und was es dem Fachgebiet gebracht hat.
Hoffmann et al. showed compute-optimal training wants ~20 tokens per parameter — far more data than the field was using — so a 70B model trained right beat a 280B one. It reshaped every subsequent training run and made data supply a first-order constraint.
So hängt das mit dem Rest des Stacks zusammen
Die Verknüpfungen dieses Datensatzes auf einen Blick – klicken Sie auf eine Gruppe, um dorthin zu springen.
Verfasst von
Grundlage für
Verwandt
Quellen
Datensatz geprüft am 2026-01-15 — Siehe Methodik.