TensorRT-LLM & Dynamo
Software
Inferencia
Agentes
NVIDIA's tuned inference stack — peak tokens from its own silicon.
Estás viendo un registro de software: una herramienta o plataforma en el stack de IA, quién la mantiene y en qué hardware se ejecuta.
TensorRT-LLM compiles models into aggressively optimized NVIDIA kernels (FP8/FP4, speculative decoding, in-flight batching); Dynamo (2025) orchestrates disaggregated prefill/decode serving across racks. Together they are how NVIDIA converts hardware advantage into benchmark-leading tokens per second.
Cómo se conecta con el resto del stack
Los enlaces de esta ficha de un vistazo: haz clic en un grupo para ir directamente a él.
Se ejecuta en
Mantenido por
Compite con
Fuentes
Registro revisado a fecha de 2026-01-15 — ver Metodología.