Synthetic Data & the Data Wall
Concept
Training & inferentie
When the internet runs out, models train on model output.
U bekijkt een conceptverklaring: wat deze term in begrijpelijk Nederlands betekent, en de records die hij samenbrengt.
Frontier labs have essentially consumed the high-quality public web — the 'data wall.' The response is synthetic data: stronger models generating curricula for the next generation (Phi's textbooks, reasoning traces for RL). Done carelessly it degrades models; done well it is now standard — and it shifts value from scraping toward licensed and generated corpora.
Hoe dit aansluit op de rest van de stack
De koppelingen van dit record in één oogopslag — klik op een groep om er naartoe te springen.
Gerelateerd
Bronnen
Record beoordeeld per 2026-01-15 — bekijk Methodologie.