데이터베이스 섹션 · 7 레코드
데이터셋
What the models are trained on: the web-scale corpora, curated sets and image-text pairs behind modern AI.
현장 노트
모델은 먹는 것으로 만들어지며, 이것이 그 메뉴다. 주목할 패턴: 웹의 무료 텍스트는 사실상 소진되었으며, 그래서 여기의 최신 기록들은 스크래핑이 아닌 큐레이션과 합성에 관한 것이다.
이 세 가지부터 시작하세요
CC
Common Crawl
우연히 AI 혁명의 자양분이 된 작은 비영리단체의 웹 아카이브.
F&
FineWeb & FineWeb-Edu
오픈 진영의 최신 기술 — 15조 토큰, 레시피 포함.
L5
LAION-5B
오픈 이미지 생성의 기반이 된 데이터셋 — 그리고 그 경계의 이야기.
Training datasets & corpora
7
CC
Common Crawl
The nonprofit web archive nearly every LLM ate first.
C4
C4
Google's cleaned Common Crawl — the reproducible baseline.
F&
FineWeb & FineWeb-Edu
Hugging Face's 15-trillion-token state of the art in open pre-training data.
IM
ImageNet
The 14-million-image labeled dataset that started the deep-learning era.
L5
LAION-5B
5.85 billion image-text pairs — the fuel of open image generation, and its scandal.
RE
RedPajama
The open reproduction of Llama's training mix.
TP
The Pile
EleutherAI's 825 GB of curated diversity — open-source pre-training's foundation.