DeepSpeed
Phần mềm
Huấn luyện
Tác nhân
Microsoft's scaling toolkit — ZeRO sharding made huge models trainable.
Bạn đang xem hồ sơ phần mềm: một công cụ hoặc nền tảng trong hệ sinh thái AI — ai duy trì và nó chạy trên phần cứng nào.
DeepSpeed's ZeRO optimizer sharding let models far larger than one GPU's memory train efficiently, powering the Megatron-Turing era and countless open efforts since. Its ideas (now echoed by PyTorch FSDP) defined how the industry splits models across thousands of devices.
Kết nối của mục này với phần còn lại của hệ thống
Các liên kết của hồ sơ này trong nháy mắt — nhấp vào một nhóm để chuyển đến nhóm đó.
Được duy trì bởi
Liên quan
Nguồn
Hồ sơ được xem xét tính đến 2026-01-15 — xem Phương pháp luận.