Scaling Laws

Concept Entraînement et inférence

The empirical curves that justify the capex on this site.

Vous consultez une fiche concept : ce que ce terme signifie en langage clair, et les fiches qu'il relie.

Scaling laws (Kaplan 2020; Chinchilla 2022) show model loss falling predictably as compute, parameters and data grow together — the smooth curves that convinced investors trillion-dollar infrastructure was rational. Chinchilla corrected the recipe (more data per parameter); test-time compute added a second axis; the open question — whether pre-training returns are flattening — is the trillion-dollar debate, with Ilya Sutskever's 'age of scaling is over' remarks its sharpest statement.

Comment cela s'articule avec le reste de la chaîne

Les liens de cette fiche en un coup d'œil — cliquez sur un groupe pour y accéder directement.

Introduit

Scaling Laws for Neural Language Models (2020)

Basé sur

Scaling Laws for Neural Language Models (2020) Training Compute-Optimal LLMs — Chinchilla (2022)

Connexes

Test-time Compute & Reasoning Parameters Training & Pre-training FLOPS & Precision Formats

Sources

Kaplan scaling laws ↗

Fiche examinée au 2026-01-15 — voir Méthodologie.