Synthetic Data & the Data Wall
When the internet runs out, models train on model output.
Anda sedang melihat entri penjelas konsep: apa arti istilah ini dalam bahasa yang mudah dipahami, dan entri-entri yang dikaitkannya.
Frontier labs have essentially consumed the high-quality public web — the 'data wall.' The response is synthetic data: stronger models generating curricula for the next generation (Phi's textbooks, reasoning traces for RL). Done carelessly it degrades models; done well it is now standard — and it shifts value from scraping toward licensed and generated corpora.
Bagaimana ini terhubung ke bagian lain dari stack
Tautan catatan ini sekilas — klik grup untuk langsung menuju ke sana.
Terkait
Sumber
Rekaman ditinjau per 2026-01-15 — lihat Metodologi.