FineWeb & FineWeb-Edu
Hugging Face's 15-trillion-token state of the art in open pre-training data.
Estás viendo un registro de dataset: una colección de datos de entrenamiento, qué contiene y qué modelos aprendieron de ella.
FineWeb (2024) processed 96 Common Crawl snapshots into 15T tokens with fully published filtering code; FineWeb-Edu used model-based educational scoring to distill the best 1.3T. Together they are the open world's answer to proprietary data pipelines.
Cómo se conecta con el resto del stack
Los enlaces de esta ficha de un vistazo: haz clic en un grupo para ir directamente a él.
Relacionado
Fuentes
Registro revisado a fecha de 2026-01-15 — ver Metodología.