Training & Pre-training
개념
학습 및 추론
Months of thousands of GPUs predicting the next token, trillions of times.
현재 보고 계신 것은 개념 설명 레코드입니다: 이 용어의 의미를 쉬운 말로 풀어쓰고, 연관된 레코드들을 연결합니다.
Pre-training runs a model over trillions of tokens, nudging weights after every prediction error, in synchronized runs across tens of thousands of accelerators — the workload the biggest clusters on this site were built for. A frontier run costs hundreds of millions of dollars in compute, fails in exotic ways (silent data corruption, stragglers, loss spikes), and is why checkpointing, interconnects and reliability engineering are front-page infrastructure topics.
전체 스택에서의 연결 구조
이 레코드의 링크를 한눈에 확인하세요 — 그룹을 클릭하면 해당 위치로 이동합니다.
출처
Llama 3 herd paper (training at scale) ↗
검토 기준일 2026-01-15 — 보기 방법론.