TensorRT-LLM & Dynamo
Software
Inferência
Ativo
NVIDIA's tuned inference stack — peak tokens from its own silicon.
Está a ver um registo de software: uma ferramenta ou plataforma na stack de IA — quem a mantém e em que hardware corre.
TensorRT-LLM compiles models into aggressively optimized NVIDIA kernels (FP8/FP4, speculative decoding, in-flight batching); Dynamo (2025) orchestrates disaggregated prefill/decode serving across racks. Together they are how NVIDIA converts hardware advantage into benchmark-leading tokens per second.
Como este elemento se liga ao resto da stack
As ligações deste registo num relance — clique num grupo para ir diretamente até ele.
Executa em
Mantido por
Concorre com
Fontes
Registro revisado em 2026-01-15 — ver Metodologia.