Mục cơ sở dữ liệu · 7 hồ sơ
Các tập dữ liệu
What the models are trained on: the web-scale corpora, curated sets and image-text pairs behind modern AI.
Ghi chép thực địa
Các mô hình là những gì chúng được ăn, và đây là thực đơn. Quy luật đáng chú ý: văn bản tự do trên web về cơ bản đã được tiêu thụ hết, đó là lý do tại sao các mục mới nhất ở đây nói về tuyển chọn và tổng hợp dữ liệu, không phải thu thập dữ liệu thô.
Bắt đầu với ba khái niệm này
CC
Common Crawl
Kho lưu trữ web của một tổ chức phi lợi nhuận nhỏ bé đã vô tình nuôi dưỡng cuộc cách mạng AI.
F&
FineWeb & FineWeb-Edu
Trình độ tiên tiến của thế giới nguồn mở — 15 nghìn tỷ token, kèm công thức đầy đủ.
L5
LAION-5B
Bộ dữ liệu đằng sau việc tạo ảnh nguồn mở — và bài học cảnh báo của nó.
Training datasets & corpora
7
CC
Common Crawl
The nonprofit web archive nearly every LLM ate first.
C4
C4
Google's cleaned Common Crawl — the reproducible baseline.
F&
FineWeb & FineWeb-Edu
Hugging Face's 15-trillion-token state of the art in open pre-training data.
IM
ImageNet
The 14-million-image labeled dataset that started the deep-learning era.
L5
LAION-5B
5.85 billion image-text pairs — the fuel of open image generation, and its scandal.
RE
RedPajama
The open reproduction of Llama's training mix.
TP
The Pile
EleutherAI's 825 GB of curated diversity — open-source pre-training's foundation.