Common Crawl
Dataset
Webcorpus
The nonprofit web archive nearly every LLM ate first.
U bekijkt een dataset-record: een verzameling trainingsdata — wat erin zit en welke modellen ermee zijn getraind.
Common Crawl has archived the open web monthly since 2008 — petabytes of pages that, filtered and deduplicated, form the backbone of most pre-training corpora (GPT-3's largest component; ancestor of C4, RefinedWeb, FineWeb). A tiny nonprofit's crawler quietly became the most economically consequential dataset on Earth — and the center of the consent-and-copyright fight.
Hoe dit aansluit op de rest van de stack
De koppelingen van dit record in één oogopslag — klik op een groep om er naartoe te springen.
Gebruikt om te trainen
Bronnen
Record beoordeeld per 2026-01-15 — bekijk Methodologie.