Главная › Программное обеспечение › TensorRT-LLM & Dynamo
TensorRT-LLM & Dynamo
Программное обеспечение
Инференс
Агенты
NVIDIA's tuned inference stack — peak tokens from its own silicon.
Перед вами запись о программном обеспечении — инструменте или платформе в AI-стеке: кто её поддерживает и на каком оборудовании она работает.
TensorRT-LLM compiles models into aggressively optimized NVIDIA kernels (FP8/FP4, speculative decoding, in-flight batching); Dynamo (2025) orchestrates disaggregated prefill/decode serving across racks. Together they are how NVIDIA converts hardware advantage into benchmark-leading tokens per second.
Место в общей экосистеме
Ссылки этой записи с первого взгляда — нажмите на группу, чтобы перейти к ней.
Работает на
Поддерживается
Конкурирует с
Источники
Запись актуальна на 2026-01-15 — смотреть Методология.