TensorRT-LLM & Dynamo
소프트웨어
추론(Inference)
Active
NVIDIA's tuned inference stack — peak tokens from its own silicon.
현재 보고 계신 것은 소프트웨어 레코드입니다: AI 스택의 도구 또는 플랫폼 — 누가 관리하며 어떤 하드웨어에서 실행되는지를 다룹니다.
TensorRT-LLM compiles models into aggressively optimized NVIDIA kernels (FP8/FP4, speculative decoding, in-flight batching); Dynamo (2025) orchestrates disaggregated prefill/decode serving across racks. Together they are how NVIDIA converts hardware advantage into benchmark-leading tokens per second.
전체 스택에서의 연결 구조
이 레코드의 링크를 한눈에 확인하세요 — 그룹을 클릭하면 해당 위치로 이동합니다.
실행 환경
유지 관리 주체
경쟁 제품
출처
검토 기준일 2026-01-15 — 보기 방법론.