Accueil › Jeux de données › The Pile
The Pile
Jeu de données
Corpus sélectionné
EleutherAI's 825 GB of curated diversity — open-source pre-training's foundation.
Vous consultez une fiche dataset : une collection de données d'entraînement — ce qu'elle contient et quels modèles en ont appris.
The Pile (2020) mixed 22 sources — papers, code, books, forums — and showed curation quality mattered as much as scale. It trained the GPT-Neo/GPT-J lineage that kept open research alive, and its inclusion of the Books3 shadow-library became a defining copyright battleground.
Comment cela s'articule avec le reste de la chaîne
Les liens de cette fiche en un coup d'œil — cliquez sur un groupe pour y accéder directement.
Connexes
Sources
Fiche examinée au 2026-01-15 — voir Méthodologie.