Megatron-Core
NVIDIA's reference recipe for trillion-parameter training.
Перед вами запись о программном обеспечении — инструменте или платформе в AI-стеке: кто её поддерживает и на каком оборудовании она работает.
Megatron pioneered tensor and pipeline parallelism for transformers; Megatron-Core packages those techniques as the library under NVIDIA's NeMo stack and many frontier training codebases — the canonical implementation of 3D parallelism on NVIDIA fabric.
Место в общей экосистеме
Ссылки этой записи с первого взгляда — нажмите на группу, чтобы перейти к ней.
Работает на
Поддерживается
Связанные
Источники
Запись актуальна на 2026-01-15 — смотреть Методология.