Training Compute-Optimal LLMs — Chinchilla (2022)
연구 논문
스케일링
DeepMind's correction: most models were undertrained on data.
현재 보고 계신 것은 연구 논문 레코드입니다: 중요한 논문과 그것이 해당 분야에 도입한 내용을 다룹니다.
Hoffmann et al. showed compute-optimal training wants ~20 tokens per parameter — far more data than the field was using — so a 70B model trained right beat a 280B one. It reshaped every subsequent training run and made data supply a first-order constraint.
전체 스택에서의 연결 구조
이 레코드의 링크를 한눈에 확인하세요 — 그룹을 클릭하면 해당 위치로 이동합니다.
기초 자료
관련
출처
검토 기준일 2026-01-15 — 보기 방법론.