Datenbankbereich · 7 Datensätze
Datensätze
What the models are trained on: the web-scale corpora, curated sets and image-text pairs behind modern AI.
Feldnotizen
Modelle sind das, womit sie gefüttert werden, und das ist die Speisekarte. Das bemerkenswerte Muster: Die freien Texte des Webs sind im Wesentlichen verbraucht – weshalb die neuesten Einträge hier von Kuration und Synthese handeln, nicht vom Scraping.
Mit diesen drei beginnen
CC
Common Crawl
Das Web-Archiv einer kleinen Non-Profit-Organisation, das die KI-Revolution unbeabsichtigt befeuerte.
F&
FineWeb & FineWeb-Edu
Der Stand der Technik in der offenen Welt – 15 Billionen Tokens, Rezept inklusive.
L5
LAION-5B
Der Datensatz hinter offener Bildgenerierung – und seine Warnung.
Training datasets & corpora
7
CC
Common Crawl
The nonprofit web archive nearly every LLM ate first.
C4
C4
Google's cleaned Common Crawl — the reproducible baseline.
F&
FineWeb & FineWeb-Edu
Hugging Face's 15-trillion-token state of the art in open pre-training data.
IM
ImageNet
The 14-million-image labeled dataset that started the deep-learning era.
L5
LAION-5B
5.85 billion image-text pairs — the fuel of open image generation, and its scandal.
RE
RedPajama
The open reproduction of Llama's training mix.
TP
The Pile
EleutherAI's 825 GB of curated diversity — open-source pre-training's foundation.