FineWeb & FineWeb-Edu
Hugging Face's 15-trillion-token state of the art in open pre-training data.
أنت تطّلع على سجل مجموعة بيانات: مجموعة بيانات تدريب — ما الذي تحتويه والنماذج التي تعلّمت منها.
FineWeb (2024) processed 96 Common Crawl snapshots into 15T tokens with fully published filtering code; FineWeb-Edu used model-based educational scoring to distill the best 1.3T. Together they are the open world's answer to proprietary data pipelines.
كيف يرتبط هذا ببقية المنظومة
روابط هذا السجل في لمحة — انقر على أي مجموعة للانتقال إليها.
ذات صلة
المصادر
السجل مراجَع بتاريخ 2026-01-15 — عرض المنهجية.