Startseite › Datensätze › Common Crawl
Common Crawl
Datensatz
Web-Korpus
The nonprofit web archive nearly every LLM ate first.
Sie sehen einen Datensatz-Eintrag: eine Trainingsdatensammlung — was sie enthält und welche Modelle daraus gelernt haben.
Common Crawl has archived the open web monthly since 2008 — petabytes of pages that, filtered and deduplicated, form the backbone of most pre-training corpora (GPT-3's largest component; ancestor of C4, RefinedWeb, FineWeb). A tiny nonprofit's crawler quietly became the most economically consequential dataset on Earth — and the center of the consent-and-copyright fight.
So hängt das mit dem Rest des Stacks zusammen
Die Verknüpfungen dieses Datensatzes auf einen Blick – klicken Sie auf eine Gruppe, um dorthin zu springen.
Verwendet zum Training von
Quellen
Datensatz geprüft am 2026-01-15 — Siehe Methodik.