Trang chủ › Các tập dữ liệu › Common Crawl
Common Crawl
Tập dữ liệu
Kho ngữ liệu Web
The nonprofit web archive nearly every LLM ate first.
Bạn đang xem hồ sơ dataset: một bộ dữ liệu huấn luyện — nội dung gồm những gì và những mô hình nào đã học từ đó.
Common Crawl has archived the open web monthly since 2008 — petabytes of pages that, filtered and deduplicated, form the backbone of most pre-training corpora (GPT-3's largest component; ancestor of C4, RefinedWeb, FineWeb). A tiny nonprofit's crawler quietly became the most economically consequential dataset on Earth — and the center of the consent-and-copyright fight.
Kết nối của mục này với phần còn lại của hệ thống
Các liên kết của hồ sơ này trong nháy mắt — nhấp vào một nhóm để chuyển đến nhóm đó.
Được dùng để huấn luyện
Nguồn
Hồ sơ được xem xét tính đến 2026-01-15 — xem Phương pháp luận.