Inicio › Conjuntos de datos › Common Crawl
Common Crawl
Conjunto de datos
Corpus web
The nonprofit web archive nearly every LLM ate first.
Estás viendo un registro de dataset: una colección de datos de entrenamiento, qué contiene y qué modelos aprendieron de ella.
Common Crawl has archived the open web monthly since 2008 — petabytes of pages that, filtered and deduplicated, form the backbone of most pre-training corpora (GPT-3's largest component; ancestor of C4, RefinedWeb, FineWeb). A tiny nonprofit's crawler quietly became the most economically consequential dataset on Earth — and the center of the consent-and-copyright fight.
Cómo se conecta con el resto del stack
Los enlaces de esta ficha de un vistazo: haz clic en un grupo para ir directamente a él.
Usado para entrenar
Fuentes
Registro revisado a fecha de 2026-01-15 — ver Metodología.