FineWeb & FineWeb-Edu
Hugging Face's 15-trillion-token state of the art in open pre-training data.
Está a ver um registo de dataset: uma coleção de dados de treino — o que contém e quais os modelos que aprenderam com ela.
FineWeb (2024) processed 96 Common Crawl snapshots into 15T tokens with fully published filtering code; FineWeb-Edu used model-based educational scoring to distill the best 1.3T. Together they are the open world's answer to proprietary data pipelines.
Como este elemento se liga ao resto da stack
As ligações deste registo num relance — clique num grupo para ir diretamente até ele.
Relacionados
Fontes
Registro revisado em 2026-01-15 — ver Metodologia.