FineWeb & FineWeb-Edu
Датасет
Веб-корпус
Hugging Face's 15-trillion-token state of the art in open pre-training data.
Перед вами запись о датасете — коллекции обучающих данных: что в неё входит и какие модели на ней обучались.
FineWeb (2024) processed 96 Common Crawl snapshots into 15T tokens with fully published filtering code; FineWeb-Edu used model-based educational scoring to distill the best 1.3T. Together they are the open world's answer to proprietary data pipelines.
Место в общей экосистеме
Ссылки этой записи с первого взгляда — нажмите на группу, чтобы перейти к ней.
Связанные
Источники
Запись актуальна на 2026-01-15 — смотреть Методология.