Trang chủ › Các tập dữ liệu › FineWeb & FineWeb-Edu
FineWeb & FineWeb-Edu
Tập dữ liệu
Kho ngữ liệu Web
Hugging Face's 15-trillion-token state of the art in open pre-training data.
Bạn đang xem hồ sơ dataset: một bộ dữ liệu huấn luyện — nội dung gồm những gì và những mô hình nào đã học từ đó.
FineWeb (2024) processed 96 Common Crawl snapshots into 15T tokens with fully published filtering code; FineWeb-Edu used model-based educational scoring to distill the best 1.3T. Together they are the open world's answer to proprietary data pipelines.
Kết nối của mục này với phần còn lại của hệ thống
Các liên kết của hồ sơ này trong nháy mắt — nhấp vào một nhóm để chuyển đến nhóm đó.
Liên quan
Nguồn
Hồ sơ được xem xét tính đến 2026-01-15 — xem Phương pháp luận.