Beranda › Perangkat Lunak › TensorRT-LLM & Dynamo
TensorRT-LLM & Dynamo
Perangkat Lunak
Inferensi
Agen
NVIDIA's tuned inference stack — peak tokens from its own silicon.
Anda sedang melihat entri perangkat lunak: sebuah alat atau platform dalam AI stack — siapa yang memeliharanya dan perangkat keras apa yang dijalankannya.
TensorRT-LLM compiles models into aggressively optimized NVIDIA kernels (FP8/FP4, speculative decoding, in-flight batching); Dynamo (2025) orchestrates disaggregated prefill/decode serving across racks. Together they are how NVIDIA converts hardware advantage into benchmark-leading tokens per second.
Bagaimana ini terhubung ke bagian lain dari stack
Tautan catatan ini sekilas — klik grup untuk langsung menuju ke sana.
Berjalan di
Dipelihara oleh
Bersaing dengan
Sumber
Rekaman ditinjau per 2026-01-15 — lihat Metodologi.