Главная › Программное обеспечение › DeepSpeed
DeepSpeed
Программное обеспечение
Обучение
Агенты
Microsoft's scaling toolkit — ZeRO sharding made huge models trainable.
Перед вами запись о программном обеспечении — инструменте или платформе в AI-стеке: кто её поддерживает и на каком оборудовании она работает.
DeepSpeed's ZeRO optimizer sharding let models far larger than one GPU's memory train efficiently, powering the Megatron-Turing era and countless open efforts since. Its ideas (now echoed by PyTorch FSDP) defined how the industry splits models across thousands of devices.
Место в общей экосистеме
Ссылки этой записи с первого взгляда — нажмите на группу, чтобы перейти к ней.
Поддерживается
Связанные
Источники
Запись актуальна на 2026-01-15 — смотреть Методология.