NCCL
The collective-communications library every distributed training run calls.
Anda sedang melihat entri perangkat lunak: sebuah alat atau platform dalam AI stack — siapa yang memeliharanya dan perangkat keras apa yang dijalankannya.
NCCL implements the all-reduce, all-gather and broadcast operations that synchronize gradients across thousands of GPUs, tuned to NVLink and InfiniBand topologies. When people say a cluster 'scales well', they are mostly praising NCCL; AMD's RCCL mirrors it.
Bagaimana ini terhubung ke bagian lain dari stack
Tautan catatan ini sekilas — klik grup untuk langsung menuju ke sana.
Dipelihara oleh
Terkait
Sumber
Rekaman ditinjau per 2026-01-15 — lihat Metodologi.