The Pile
Dataset
Samengesteld corpus
EleutherAI's 825 GB of curated diversity — open-source pre-training's foundation.
U bekijkt een dataset-record: een verzameling trainingsdata — wat erin zit en welke modellen ermee zijn getraind.
The Pile (2020) mixed 22 sources — papers, code, books, forums — and showed curation quality mattered as much as scale. It trained the GPT-Neo/GPT-J lineage that kept open research alive, and its inclusion of the Books3 shadow-library became a defining copyright battleground.
Hoe dit aansluit op de rest van de stack
De koppelingen van dit record in één oogopslag — klik op een groep om er naartoe te springen.
Gerelateerd
Bronnen
Record beoordeeld per 2026-01-15 — bekijk Methodologie.