डेटाबेस अनुभाग · 7 records
डेटासेट
What the models are trained on: the web-scale corpora, curated sets and image-text pairs behind modern AI.
फील्ड नोट्स
Model वही होते हैं जो वे खाते हैं, और यह मेनू है। ध्यान देने योग्य पैटर्न: वेब का मुफ़्त टेक्स्ट अनिवार्य रूप से उपभोग हो चुका है, इसीलिए यहाँ के नवीनतम रिकॉर्ड scraping के बारे में नहीं, बल्कि curation और synthesis के बारे में हैं।
इन तीन से शुरू करें
CC
Common Crawl
एक छोटे से गैर-लाभकारी संगठन का वेब आर्काइव, जिसने अनजाने में AI क्रांति को पोषण दिया।
F&
FineWeb & FineWeb-Edu
open दुनिया की अत्याधुनिक स्थिति — 15 ट्रिलियन token, रेसिपी सहित।
L5
LAION-5B
खुली छवि निर्माण के पीछे का dataset — और उसकी चेतावनी भरी कहानी।
Training datasets & corpora
7
CC
Common Crawl
The nonprofit web archive nearly every LLM ate first.
C4
C4
Google's cleaned Common Crawl — the reproducible baseline.
F&
FineWeb & FineWeb-Edu
Hugging Face's 15-trillion-token state of the art in open pre-training data.
IM
ImageNet
The 14-million-image labeled dataset that started the deep-learning era.
L5
LAION-5B
5.85 billion image-text pairs — the fuel of open image generation, and its scandal.
RE
RedPajama
The open reproduction of Llama's training mix.
TP
The Pile
EleutherAI's 825 GB of curated diversity — open-source pre-training's foundation.