DeepSpeed
Logiciels
Entraînement
Actif
Microsoft's scaling toolkit — ZeRO sharding made huge models trainable.
Vous consultez une fiche logiciel : un outil ou une plateforme dans la chaîne de l'IA — qui le maintient et sur quel matériel il fonctionne.
DeepSpeed's ZeRO optimizer sharding let models far larger than one GPU's memory train efficiently, powering the Megatron-Turing era and countless open efforts since. Its ideas (now echoed by PyTorch FSDP) defined how the industry splits models across thousands of devices.
Comment cela s'articule avec le reste de la chaîne
Les liens de cette fiche en un coup d'œil — cliquez sur un groupe pour y accéder directement.
Maintenu par
Connexes
Sources
Fiche examinée au 2026-01-15 — voir Méthodologie.