Início › Conjuntos de Dados › Common Crawl
Common Crawl
Conjunto de Dados
Corpus Web
The nonprofit web archive nearly every LLM ate first.
Está a ver um registo de dataset: uma coleção de dados de treino — o que contém e quais os modelos que aprenderam com ela.
Common Crawl has archived the open web monthly since 2008 — petabytes of pages that, filtered and deduplicated, form the backbone of most pre-training corpora (GPT-3's largest component; ancestor of C4, RefinedWeb, FineWeb). A tiny nonprofit's crawler quietly became the most economically consequential dataset on Earth — and the center of the consent-and-copyright fight.
Como este elemento se liga ao resto da stack
As ligações deste registo num relance — clique num grupo para ir diretamente até ele.
Usado para treinar
Relacionados
Fontes
Registro revisado em 2026-01-15 — ver Metodologia.