Beranda › Makalah Riset › Training Compute-Optimal LLMs — Chinchilla (2022)
Training Compute-Optimal LLMs — Chinchilla (2022)
Makalah Riset
Penskalaan
DeepMind's correction: most models were undertrained on data.
Anda sedang melihat entri makalah penelitian: sebuah makalah penting dan apa yang diperkenalkannya ke bidang ini.
Hoffmann et al. showed compute-optimal training wants ~20 tokens per parameter — far more data than the field was using — so a 70B model trained right beat a 280B one. It reshaped every subsequent training run and made data supply a first-order constraint.
Bagaimana ini terhubung ke bagian lain dari stack
Tautan catatan ini sekilas — klik grup untuk langsung menuju ke sana.
Ditulis oleh
Dasar untuk
Terkait
Sumber
Rekaman ditinjau per 2026-01-15 — lihat Metodologi.