DeepSpeed
Software
Addestramento
Attivo
Microsoft's scaling toolkit — ZeRO sharding made huge models trainable.
Stai visualizzando un record software: uno strumento o una piattaforma nello stack AI — chi lo mantiene e su quale hardware gira.
DeepSpeed's ZeRO optimizer sharding let models far larger than one GPU's memory train efficiently, powering the Megatron-Turing era and countless open efforts since. Its ideas (now echoed by PyTorch FSDP) defined how the industry splits models across thousands of devices.
Come si collega al resto dello stack
I collegamenti di questa scheda a colpo d'occhio — clicca un gruppo per raggiungerlo.
Mantenuto da
Correlati
Fonti
Record revisionato al 2026-01-15 — vedi Metodologia.