Megatron-Core

Software Training Agents

NVIDIA's reference recipe for trillion-parameter training.

Sie sehen einen Software-Eintrag: ein Tool oder eine Plattform im KI-Stack — wer sie pflegt und auf welcher Hardware sie läuft.

Megatron pioneered tensor and pipeline parallelism for transformers; Megatron-Core packages those techniques as the library under NVIDIA's NeMo stack and many frontier training codebases — the canonical implementation of 3D parallelism on NVIDIA fabric.

So hängt das mit dem Rest des Stacks zusammen

Die Verknüpfungen dieses Datensatzes auf einen Blick – klicken Sie auf eine Gruppe, um dorthin zu springen.

Läuft auf

NVIDIA H100

Gepflegt von

NVIDIA

Verwandt

DeepSpeed

Quellen

Megatron-LM ↗

Datensatz geprüft am 2026-01-15 — Siehe Methodik.