FineWeb & FineWeb-Edu
データセット
Webコーパス
Hugging Face's 15-trillion-token state of the art in open pre-training data.
これはデータセットのレコードです。学習用データのコレクションについて、収録内容とそれを学習したモデルを紹介します。
FineWeb (2024) processed 96 Common Crawl snapshots into 15T tokens with fully published filtering code; FineWeb-Edu used model-based educational scoring to distill the best 1.3T. Together they are the open world's answer to proprietary data pipelines.
スタック全体とのつながり
このレコードのリンク一覧 — グループをクリックするとジャンプします。
出典
レコードのレビュー時点： 2026-01-15 — 表示 調査手法.