FineWeb & FineWeb-Edu
डेटासेट
Web Corpus
Hugging Face's 15-trillion-token state of the art in open pre-training data.
आप एक dataset रिकॉर्ड देख रहे हैं: training data का एक संग्रह — इसमें क्या है और किन models ने इससे सीखा।
FineWeb (2024) processed 96 Common Crawl snapshots into 15T tokens with fully published filtering code; FineWeb-Edu used model-based educational scoring to distill the best 1.3T. Together they are the open world's answer to proprietary data pipelines.
यह बाकी स्टैक से कैसे जुड़ता है
इस रिकॉर्ड के लिंक एक नज़र में — किसी समूह पर क्लिक करके उस पर जाएँ।
संबंधित
स्रोत
रिकॉर्ड की समीक्षा की गई 2026-01-15 — देखें पद्धति.