Beranda › Kumpulan-Kumpulan Data › Common Crawl
Common Crawl
Kumpulan Data
Korpus Web
The nonprofit web archive nearly every LLM ate first.
Anda sedang melihat entri dataset: kumpulan data pelatihan — apa isinya dan model mana yang belajar darinya.
Common Crawl has archived the open web monthly since 2008 — petabytes of pages that, filtered and deduplicated, form the backbone of most pre-training corpora (GPT-3's largest component; ancestor of C4, RefinedWeb, FineWeb). A tiny nonprofit's crawler quietly became the most economically consequential dataset on Earth — and the center of the consent-and-copyright fight.
Bagaimana ini terhubung ke bagian lain dari stack
Tautan catatan ini sekilas — klik grup untuk langsung menuju ke sana.
Digunakan untuk melatih
Sumber
Rekaman ditinjau per 2026-01-15 — lihat Metodologi.