FineWeb & FineWeb-Edu
Hugging Face's 15-trillion-token state of the art in open pre-training data.
Bir veri kümesi kaydına bakıyorsunuz: bir eğitim verisi koleksiyonu — içinde ne olduğu ve hangi modellerin ondan öğrendiği.
FineWeb (2024) processed 96 Common Crawl snapshots into 15T tokens with fully published filtering code; FineWeb-Edu used model-based educational scoring to distill the best 1.3T. Together they are the open world's answer to proprietary data pipelines.
Bu, yığının geri kalanıyla nasıl bağlantılı?
Bu kaydın bağlantılarına hızlı bakış — bir gruba tıklayarak o bölüme atlayın.
İlgili
Kaynaklar
İncelenen kayıt tarihi: 2026-01-15 — görüntüle Metodoloji.