TensorRT-LLM & Dynamo
ソフトウェア
推論
エージェント
NVIDIA's tuned inference stack — peak tokens from its own silicon.
これはソフトウェアのレコードです。AIスタックを構成するツールまたはプラットフォームについて、開発・保守を担う主体と対応ハードウェアを紹介します。
TensorRT-LLM compiles models into aggressively optimized NVIDIA kernels (FP8/FP4, speculative decoding, in-flight batching); Dynamo (2025) orchestrates disaggregated prefill/decode serving across racks. Together they are how NVIDIA converts hardware advantage into benchmark-leading tokens per second.
スタック全体とのつながり
このレコードのリンク一覧 — グループをクリックするとジャンプします。
動作環境
メンテナンス担当
競合製品
出典
レコードのレビュー時点： 2026-01-15 — 表示 調査手法.