The Pile
EleutherAI's 825 GB of curated diversity — open-source pre-training's foundation.
Está a ver um registo de dataset: uma coleção de dados de treino — o que contém e quais os modelos que aprenderam com ela.
The Pile (2020) mixed 22 sources — papers, code, books, forums — and showed curation quality mattered as much as scale. It trained the GPT-Neo/GPT-J lineage that kept open research alive, and its inclusion of the Books3 shadow-library became a defining copyright battleground.
Como este elemento se liga ao resto da stack
As ligações deste registo num relance — clique num grupo para ir diretamente até ele.
Relacionados
Fontes
Registro revisado em 2026-01-15 — ver Metodologia.