Common Crawl
Dataset
Web Corpus
The nonprofit web archive nearly every LLM ate first.
Stai visualizzando un record di dataset: una raccolta di dati di addestramento — cosa contiene e quali modelli l'hanno utilizzata.
Common Crawl has archived the open web monthly since 2008 — petabytes of pages that, filtered and deduplicated, form the backbone of most pre-training corpora (GPT-3's largest component; ancestor of C4, RefinedWeb, FineWeb). A tiny nonprofit's crawler quietly became the most economically consequential dataset on Earth — and the center of the consent-and-copyright fight.
Come si collega al resto dello stack
I collegamenti di questa scheda a colpo d'occhio — clicca un gruppo per raggiungerlo.
Usato per addestrare
Fonti
Record revisionato al 2026-01-15 — vedi Metodologia.