Bagian basis data · 7 rekaman
Kumpulan-Kumpulan Data
What the models are trained on: the web-scale corpora, curated sets and image-text pairs behind modern AI.
Catatan lapangan
Model makan apa yang tersedia, dan inilah menunya. Pola yang layak diperhatikan: teks bebas dari web pada dasarnya sudah habis dikonsumsi, itulah mengapa entri terbaru di sini berfokus pada kurasi dan sintesis, bukan scraping.
Mulai dengan tiga ini
CC
Common Crawl
Arsip web sebuah lembaga nirlaba kecil yang tanpa sengaja menjadi bahan bakar revolusi AI.
F&
FineWeb & FineWeb-Edu
Karya terdepan dunia open source — 15 triliun token, resep disertakan.
L5
LAION-5B
Dataset di balik generasi gambar open source — beserta kisah peringatannya.
Training datasets & corpora
7
CC
Common Crawl
The nonprofit web archive nearly every LLM ate first.
C4
C4
Google's cleaned Common Crawl — the reproducible baseline.
F&
FineWeb & FineWeb-Edu
Hugging Face's 15-trillion-token state of the art in open pre-training data.
IM
ImageNet
The 14-million-image labeled dataset that started the deep-learning era.
L5
LAION-5B
5.85 billion image-text pairs — the fuel of open image generation, and its scandal.
RE
RedPajama
The open reproduction of Llama's training mix.
TP
The Pile
EleutherAI's 825 GB of curated diversity — open-source pre-training's foundation.