FineWeb & FineWeb-Edu
Dataset
Web Corpus
Hugging Face's 15-trillion-token state of the art in open pre-training data.
Stai visualizzando un record di dataset: una raccolta di dati di addestramento — cosa contiene e quali modelli l'hanno utilizzata.
FineWeb (2024) processed 96 Common Crawl snapshots into 15T tokens with fully published filtering code; FineWeb-Edu used model-based educational scoring to distill the best 1.3T. Together they are the open world's answer to proprietary data pipelines.
Come si collega al resto dello stack
I collegamenti di questa scheda a colpo d'occhio — clicca un gruppo per raggiungerlo.
Correlati
Fonti
Record revisionato al 2026-01-15 — vedi Metodologia.