数据库分类 · 7 记录
数据集
What the models are trained on: the web-scale corpora, curated sets and image-text pairs behind modern AI.
现场笔记
模型吃什么，它就是什么，这里是菜单。值得注意的规律：网络上的免费文本已基本耗尽，这就是为什么这里最新的记录关于的是筛选与合成，而非爬取。
从这三个开始
CC
Common Crawl
一个小型非营利组织的网络存档，无意间喂养了AI革命。
F&
FineWeb & FineWeb-Edu
开源世界的最高水准——15万亿token，配方公开。
L5
LAION-5B
开放图像生成背后的数据集——以及它的警示故事。
Training datasets & corpora
7
CC
Common Crawl
The nonprofit web archive nearly every LLM ate first.
C4
C4
Google's cleaned Common Crawl — the reproducible baseline.
F&
FineWeb & FineWeb-Edu
Hugging Face's 15-trillion-token state of the art in open pre-training data.
IM
ImageNet
The 14-million-image labeled dataset that started the deep-learning era.
L5
LAION-5B
5.85 billion image-text pairs — the fuel of open image generation, and its scandal.
RE
RedPajama
The open reproduction of Llama's training mix.
TP
The Pile
EleutherAI's 825 GB of curated diversity — open-source pre-training's foundation.