Startseite › Software › TensorRT-LLM & Dynamo
TensorRT-LLM & Dynamo
Software
Inferenz
Agents
NVIDIA's tuned inference stack — peak tokens from its own silicon.
Sie sehen einen Software-Eintrag: ein Tool oder eine Plattform im KI-Stack — wer sie pflegt und auf welcher Hardware sie läuft.
TensorRT-LLM compiles models into aggressively optimized NVIDIA kernels (FP8/FP4, speculative decoding, in-flight batching); Dynamo (2025) orchestrates disaggregated prefill/decode serving across racks. Together they are how NVIDIA converts hardware advantage into benchmark-leading tokens per second.
So hängt das mit dem Rest des Stacks zusammen
Die Verknüpfungen dieses Datensatzes auf einen Blick – klicken Sie auf eine Gruppe, um dorthin zu springen.
Läuft auf
Gepflegt von
Konkurriert mit
Quellen
Datensatz geprüft am 2026-01-15 — Siehe Methodik.