TensorRT-LLM & Dynamo
Software
Inferentie
Actief
NVIDIA's tuned inference stack — peak tokens from its own silicon.
U bekijkt een softwarerecord: een tool of platform in de AI-stack — wie het beheert en op welke hardware het draait.
TensorRT-LLM compiles models into aggressively optimized NVIDIA kernels (FP8/FP4, speculative decoding, in-flight batching); Dynamo (2025) orchestrates disaggregated prefill/decode serving across racks. Together they are how NVIDIA converts hardware advantage into benchmark-leading tokens per second.
Hoe dit aansluit op de rest van de stack
De koppelingen van dit record in één oogopslag — klik op een groep om er naartoe te springen.
Draait op
Onderhouden door
Concurreert met
Bronnen
Record beoordeeld per 2026-01-15 — bekijk Methodologie.