Training & Pre-training
Months of thousands of GPUs predicting the next token, trillions of times.
Sie sehen einen Begriffserklärung-Eintrag: was dieser Term auf verständlichem Deutsch bedeutet, und die Einträge, die er verbindet.
Pre-training runs a model over trillions of tokens, nudging weights after every prediction error, in synchronized runs across tens of thousands of accelerators — the workload the biggest clusters on this site were built for. A frontier run costs hundreds of millions of dollars in compute, fails in exotic ways (silent data corruption, stragglers, loss spikes), and is why checkpointing, interconnects and reliability engineering are front-page infrastructure topics.
So hängt das mit dem Rest des Stacks zusammen
Die Verknüpfungen dieses Datensatzes auf einen Blick – klicken Sie auf eine Gruppe, um dorthin zu springen.
Verwandt
Quellen
Llama 3 herd paper (training at scale) ↗
Datensatz geprüft am 2026-01-15 — Siehe Methodik.