Training Compute-Optimal LLMs — Chinchilla (2022)
研究論文
スケーリング
DeepMind's correction: most models were undertrained on data.
これは論文のレコードです。重要な研究論文と、それが分野にもたらした貢献を紹介します。
Hoffmann et al. showed compute-optimal training wants ~20 tokens per parameter — far more data than the field was using — so a 70B model trained right beat a 280B one. It reshaped every subsequent training run and made data supply a first-order constraint.
スタック全体とのつながり
このレコードのリンク一覧 — グループをクリックするとジャンプします。
基礎
関連
出典
レコードのレビュー時点： 2026-01-15 — 表示 調査手法.