The Pile
EleutherAI's 825 GB of curated diversity — open-source pre-training's foundation.
Bir veri kümesi kaydına bakıyorsunuz: bir eğitim verisi koleksiyonu — içinde ne olduğu ve hangi modellerin ondan öğrendiği.
The Pile (2020) mixed 22 sources — papers, code, books, forums — and showed curation quality mattered as much as scale. It trained the GPT-Neo/GPT-J lineage that kept open research alive, and its inclusion of the Books3 shadow-library became a defining copyright battleground.
Bu, yığının geri kalanıyla nasıl bağlantılı?
Bu kaydın bağlantılarına hızlı bakış — bir gruba tıklayarak o bölüme atlayın.
İlgili
Kaynaklar
İncelenen kayıt tarihi: 2026-01-15 — görüntüle Metodoloji.