Note sul campo
I modelli sono ciò che mangiano, e questo è il menu. Il pattern da notare: il testo libero del web è stato essenzialmente consumato, ed è per questo che le schede più recenti qui riguardano cura e sintesi, non scraping.
Inizia da questi tre
CC
Common Crawl
Il piccolo archivio web di una nonprofit che ha alimentato per caso la rivoluzione dell'AI.
F&
FineWeb & FineWeb-Edu
Lo stato dell'arte del mondo open — 15 trilioni di token, ricetta inclusa.
L5
LAION-5B
Il dataset alla base della generazione di immagini open — e la sua storia ammonitrice.
Training datasets & corpora
7
CC
Common Crawl
The nonprofit web archive nearly every LLM ate first.
C4
C4
Google's cleaned Common Crawl — the reproducible baseline.
F&
FineWeb & FineWeb-Edu
Hugging Face's 15-trillion-token state of the art in open pre-training data.
IM
ImageNet
The 14-million-image labeled dataset that started the deep-learning era.
L5
LAION-5B
5.85 billion image-text pairs — the fuel of open image generation, and its scandal.
RE
RedPajama
The open reproduction of Llama's training mix.
TP
The Pile
EleutherAI's 825 GB of curated diversity — open-source pre-training's foundation.