FineWeb & FineWeb-Edu
Dataset
Webcorpus
Hugging Face's 15-trillion-token state of the art in open pre-training data.
U bekijkt een dataset-record: een verzameling trainingsdata — wat erin zit en welke modellen ermee zijn getraind.
FineWeb (2024) processed 96 Common Crawl snapshots into 15T tokens with fully published filtering code; FineWeb-Edu used model-based educational scoring to distill the best 1.3T. Together they are the open world's answer to proprietary data pipelines.
Hoe dit aansluit op de rest van de stack
De koppelingen van dit record in één oogopslag — klik op een groep om er naartoe te springen.
Gerelateerd
Bronnen
Record beoordeeld per 2026-01-15 — bekijk Methodologie.