TensorRT-LLM & Dynamo
Software
Inferenza
Attivo
NVIDIA's tuned inference stack — peak tokens from its own silicon.
Stai visualizzando un record software: uno strumento o una piattaforma nello stack AI — chi lo mantiene e su quale hardware gira.
TensorRT-LLM compiles models into aggressively optimized NVIDIA kernels (FP8/FP4, speculative decoding, in-flight batching); Dynamo (2025) orchestrates disaggregated prefill/decode serving across racks. Together they are how NVIDIA converts hardware advantage into benchmark-leading tokens per second.
Come si collega al resto dello stack
I collegamenti di questa scheda a colpo d'occhio — clicca un gruppo per raggiungerlo.
Funziona su
Mantenuto da
È in concorrenza con
Fonti
Record revisionato al 2026-01-15 — vedi Metodologia.