FineWeb & FineWeb-Edu
数据集
网络语料库
Hugging Face's 15-trillion-token state of the art in open pre-training data.
您正在查看一条数据集记录：一个训练数据集合——其中包含什么，以及哪些模型从中学习。
FineWeb (2024) processed 96 Common Crawl snapshots into 15T tokens with fully published filtering code; FineWeb-Edu used model-based educational scoring to distill the best 1.3T. Together they are the open world's answer to proprietary data pipelines.
它如何与整个技术栈相连
本记录的关联链接一览——点击分组可直接跳转。
来源
记录审阅截至 2026-01-15 — 查看 方法论.