Synthetic Data & the Data Wall
Concept
Entraînement et inférence
When the internet runs out, models train on model output.
Vous consultez une fiche concept : ce que ce terme signifie en langage clair, et les fiches qu'il relie.
Frontier labs have essentially consumed the high-quality public web — the 'data wall.' The response is synthetic data: stronger models generating curricula for the next generation (Phi's textbooks, reasoning traces for RL). Done carelessly it degrades models; done well it is now standard — and it shifts value from scraping toward licensed and generated corpora.
Comment cela s'articule avec le reste de la chaîne
Les liens de cette fiche en un coup d'œil — cliquez sur un groupe pour y accéder directement.
Connexes
Sources
Fiche examinée au 2026-01-15 — voir Méthodologie.