The Pile
Dataset
Corpus curato
EleutherAI's 825 GB of curated diversity — open-source pre-training's foundation.
Stai visualizzando un record di dataset: una raccolta di dati di addestramento — cosa contiene e quali modelli l'hanno utilizzata.
The Pile (2020) mixed 22 sources — papers, code, books, forums — and showed curation quality mattered as much as scale. It trained the GPT-Neo/GPT-J lineage that kept open research alive, and its inclusion of the Books3 shadow-library became a defining copyright battleground.
Come si collega al resto dello stack
I collegamenti di questa scheda a colpo d'occhio — clicca un gruppo per raggiungerlo.
Correlati
Fonti
Record revisionato al 2026-01-15 — vedi Metodologia.