TensorRT-LLM & Dynamo
Phần mềm
Suy luận (Inference)
Tác nhân
NVIDIA's tuned inference stack — peak tokens from its own silicon.
Bạn đang xem hồ sơ phần mềm: một công cụ hoặc nền tảng trong hệ sinh thái AI — ai duy trì và nó chạy trên phần cứng nào.
TensorRT-LLM compiles models into aggressively optimized NVIDIA kernels (FP8/FP4, speculative decoding, in-flight batching); Dynamo (2025) orchestrates disaggregated prefill/decode serving across racks. Together they are how NVIDIA converts hardware advantage into benchmark-leading tokens per second.
Kết nối của mục này với phần còn lại của hệ thống
Các liên kết của hồ sơ này trong nháy mắt — nhấp vào một nhóm để chuyển đến nhóm đó.
Chạy trên
Được duy trì bởi
Cạnh tranh với
Nguồn
Hồ sơ được xem xét tính đến 2026-01-15 — xem Phương pháp luận.