ملاحظات ميدانية
النماذج هي ما تأكله، وهذه هي القائمة. النمط الذي يستحق الملاحظة: النصوص المجانية على الويب استُهلكت في معظمها، ولهذا تدور أحدث السجلات هنا حول التنظيم والتركيب لا الجمع الآلي.
ابدأ بهذه الثلاثة
CC
Common Crawl
أرشيف ويب لمنظمة غير ربحية صغيرة أذكى ثورة الذكاء الاصطناعي دون قصد.
F&
FineWeb & FineWeb-Edu
حد الفن في العالم المفتوح المصدر — 15 تريليون رمز مع الوصفة.
L5
LAION-5B
مجموعة البيانات وراء توليد الصور المفتوح المصدر — وقصتها التحذيرية.
Training datasets & corpora
7
CC
Common Crawl
The nonprofit web archive nearly every LLM ate first.
C4
C4
Google's cleaned Common Crawl — the reproducible baseline.
F&
FineWeb & FineWeb-Edu
Hugging Face's 15-trillion-token state of the art in open pre-training data.
IM
ImageNet
The 14-million-image labeled dataset that started the deep-learning era.
L5
LAION-5B
5.85 billion image-text pairs — the fuel of open image generation, and its scandal.
RE
RedPajama
The open reproduction of Llama's training mix.
TP
The Pile
EleutherAI's 825 GB of curated diversity — open-source pre-training's foundation.