The Pile
データセット
厳選コーパス
EleutherAI's 825 GB of curated diversity — open-source pre-training's foundation.
これはデータセットのレコードです。学習用データのコレクションについて、収録内容とそれを学習したモデルを紹介します。
The Pile (2020) mixed 22 sources — papers, code, books, forums — and showed curation quality mattered as much as scale. It trained the GPT-Neo/GPT-J lineage that kept open research alive, and its inclusion of the Books3 shadow-library became a defining copyright battleground.
スタック全体とのつながり
このレコードのリンク一覧 — グループをクリックするとジャンプします。
関連
出典
レコードのレビュー時点： 2026-01-15 — 表示 調査手法.