The Pile
Датасет
Тематический корпус
EleutherAI's 825 GB of curated diversity — open-source pre-training's foundation.
Перед вами запись о датасете — коллекции обучающих данных: что в неё входит и какие модели на ней обучались.
The Pile (2020) mixed 22 sources — papers, code, books, forums — and showed curation quality mattered as much as scale. It trained the GPT-Neo/GPT-J lineage that kept open research alive, and its inclusion of the Books3 shadow-library became a defining copyright battleground.
Место в общей экосистеме
Ссылки этой записи с первого взгляда — нажмите на группу, чтобы перейти к ней.
Связанные
Источники
Запись актуальна на 2026-01-15 — смотреть Методология.