Accueil › Jeux de données › Common Crawl
Common Crawl
Jeu de données
Corpus web
The nonprofit web archive nearly every LLM ate first.
Vous consultez une fiche dataset : une collection de données d'entraînement — ce qu'elle contient et quels modèles en ont appris.
Common Crawl has archived the open web monthly since 2008 — petabytes of pages that, filtered and deduplicated, form the backbone of most pre-training corpora (GPT-3's largest component; ancestor of C4, RefinedWeb, FineWeb). A tiny nonprofit's crawler quietly became the most economically consequential dataset on Earth — and the center of the consent-and-copyright fight.
Comment cela s'articule avec le reste de la chaîne
Les liens de cette fiche en un coup d'œil — cliquez sur un groupe pour y accéder directement.
Utilisé pour entraîner
Sources
Fiche examinée au 2026-01-15 — voir Méthodologie.