Megatron-Core
NVIDIA's reference recipe for trillion-parameter training.
Anda sedang melihat entri perangkat lunak: sebuah alat atau platform dalam AI stack — siapa yang memeliharanya dan perangkat keras apa yang dijalankannya.
Megatron pioneered tensor and pipeline parallelism for transformers; Megatron-Core packages those techniques as the library under NVIDIA's NeMo stack and many frontier training codebases — the canonical implementation of 3D parallelism on NVIDIA fabric.
Bagaimana ini terhubung ke bagian lain dari stack
Tautan catatan ini sekilas — klik grup untuk langsung menuju ke sana.
Berjalan di
Dipelihara oleh
Terkait
Sumber
Rekaman ditinjau per 2026-01-15 — lihat Metodologi.