TensorRT-LLM & Dynamo
软件
推理
智能体
NVIDIA's tuned inference stack — peak tokens from its own silicon.
您正在查看一条软件记录：AI 技术栈中的一款工具或平台——谁维护它、它运行在什么硬件上。
TensorRT-LLM compiles models into aggressively optimized NVIDIA kernels (FP8/FP4, speculative decoding, in-flight batching); Dynamo (2025) orchestrates disaggregated prefill/decode serving across racks. Together they are how NVIDIA converts hardware advantage into benchmark-leading tokens per second.
它如何与整个技术栈相连
本记录的关联链接一览——点击分组可直接跳转。
运行于
维护方
竞品
来源
记录审阅截至 2026-01-15 — 查看 方法论.