TensorRT-LLM & Dynamo
Logiciels
Inférence
Actif
NVIDIA's tuned inference stack — peak tokens from its own silicon.
Vous consultez une fiche logiciel : un outil ou une plateforme dans la chaîne de l'IA — qui le maintient et sur quel matériel il fonctionne.
TensorRT-LLM compiles models into aggressively optimized NVIDIA kernels (FP8/FP4, speculative decoding, in-flight batching); Dynamo (2025) orchestrates disaggregated prefill/decode serving across racks. Together they are how NVIDIA converts hardware advantage into benchmark-leading tokens per second.
Comment cela s'articule avec le reste de la chaîne
Les liens de cette fiche en un coup d'œil — cliquez sur un groupe pour y accéder directement.
Fonctionne sur
Maintenu par
En concurrence avec
Sources
Fiche examinée au 2026-01-15 — voir Méthodologie.