Главная › Научные статьи › Training Compute-Optimal LLMs — Chinchilla (2022)
Training Compute-Optimal LLMs — Chinchilla (2022)
Научная статья
Масштабирование
DeepMind's correction: most models were undertrained on data.
Перед вами запись об исследовательской статье — знаковой работе и том, что она привнесла в область.
Hoffmann et al. showed compute-optimal training wants ~20 tokens per parameter — far more data than the field was using — so a 70B model trained right beat a 280B one. It reshaped every subsequent training run and made data supply a first-order constraint.
Место в общей экосистеме
Ссылки этой записи с первого взгляда — нажмите на группу, чтобы перейти к ней.
Авторство
Основа для
Связанные
Источники
Запись актуальна на 2026-01-15 — смотреть Методология.