Раздел базы данных · 7 записи
Датасеты
What the models are trained on: the web-scale corpora, curated sets and image-text pairs behind modern AI.
Заметки с места событий
Модели — это то, чем они питаются, а это — меню. Закономерность, которую стоит заметить: свободный текст интернета практически исчерпан, поэтому новейшие записи здесь посвящены курированию и синтезу, а не парсингу.
Начните с этих трёх
CC
Common Crawl
Маленький некоммерческий веб-архив, случайно подпитавший революцию ИИ.
F&
FineWeb & FineWeb-Edu
Лучший результат открытого мира — 15 триллионов токенов, рецепт прилагается.
L5
LAION-5B
Датасет, лежащий в основе открытой генерации изображений, — и его поучительная история.
Training datasets & corpora
7
CC
Common Crawl
The nonprofit web archive nearly every LLM ate first.
C4
C4
Google's cleaned Common Crawl — the reproducible baseline.
F&
FineWeb & FineWeb-Edu
Hugging Face's 15-trillion-token state of the art in open pre-training data.
IM
ImageNet
The 14-million-image labeled dataset that started the deep-learning era.
L5
LAION-5B
5.85 billion image-text pairs — the fuel of open image generation, and its scandal.
RE
RedPajama
The open reproduction of Llama's training mix.
TP
The Pile
EleutherAI's 825 GB of curated diversity — open-source pre-training's foundation.