DeepSpeed
Microsoft's scaling toolkit — ZeRO sharding made huge models trainable.
Anda sedang melihat entri perangkat lunak: sebuah alat atau platform dalam AI stack — siapa yang memeliharanya dan perangkat keras apa yang dijalankannya.
DeepSpeed's ZeRO optimizer sharding let models far larger than one GPU's memory train efficiently, powering the Megatron-Turing era and countless open efforts since. Its ideas (now echoed by PyTorch FSDP) defined how the industry splits models across thousands of devices.
Bagaimana ini terhubung ke bagian lain dari stack
Tautan catatan ini sekilas — klik grup untuk langsung menuju ke sana.
Dipelihara oleh
Terkait
Sumber
Rekaman ditinjau per 2026-01-15 — lihat Metodologi.