DeepSpeed
Software
Training
Actief
Microsoft's scaling toolkit — ZeRO sharding made huge models trainable.
U bekijkt een softwarerecord: een tool of platform in de AI-stack — wie het beheert en op welke hardware het draait.
DeepSpeed's ZeRO optimizer sharding let models far larger than one GPU's memory train efficiently, powering the Megatron-Turing era and countless open efforts since. Its ideas (now echoed by PyTorch FSDP) defined how the industry splits models across thousands of devices.
Hoe dit aansluit op de rest van de stack
De koppelingen van dit record in één oogopslag — klik op een groep om er naartoe te springen.
Onderhouden door
Gerelateerd
Bronnen
Record beoordeeld per 2026-01-15 — bekijk Methodologie.