Databasesectie · 7 records
Datasets
What the models are trained on: the web-scale corpora, curated sets and image-text pairs behind modern AI.
Veldnotities
Modellen zijn wat ze eten, en dit is het menu. Het patroon dat het waard is op te merken: de vrije tekst van het web is grotendeels geconsumeerd, en daarom gaan de nieuwste records hier over curatie en synthese, niet over scrapen.
Begin met deze drie
CC
Common Crawl
Een klein webarchief van een non-profit dat per ongeluk de AI-revolutie voedde.
F&
FineWeb & FineWeb-Edu
De stand van de kunst in de open wereld — 15 biljoen tokens, recept inbegrepen.
L5
LAION-5B
De dataset achter open beeldgeneratie — en de waarschuwende les ervan.
Training datasets & corpora
7
CC
Common Crawl
The nonprofit web archive nearly every LLM ate first.
C4
C4
Google's cleaned Common Crawl — the reproducible baseline.
F&
FineWeb & FineWeb-Edu
Hugging Face's 15-trillion-token state of the art in open pre-training data.
IM
ImageNet
The 14-million-image labeled dataset that started the deep-learning era.
L5
LAION-5B
5.85 billion image-text pairs — the fuel of open image generation, and its scandal.
RE
RedPajama
The open reproduction of Llama's training mix.
TP
The Pile
EleutherAI's 825 GB of curated diversity — open-source pre-training's foundation.