The Pile
EleutherAI's 825 GB of curated diversity — open-source pre-training's foundation.
Bạn đang xem hồ sơ dataset: một bộ dữ liệu huấn luyện — nội dung gồm những gì và những mô hình nào đã học từ đó.
The Pile (2020) mixed 22 sources — papers, code, books, forums — and showed curation quality mattered as much as scale. It trained the GPT-Neo/GPT-J lineage that kept open research alive, and its inclusion of the Books3 shadow-library became a defining copyright battleground.
Kết nối của mục này với phần còn lại của hệ thống
Các liên kết của hồ sơ này trong nháy mắt — nhấp vào một nhóm để chuyển đến nhóm đó.
Liên quan
Nguồn
Hồ sơ được xem xét tính đến 2026-01-15 — xem Phương pháp luận.