vLLM
소프트웨어
추론(Inference)
Active
The open-source serving engine that made GPU inference efficient.
현재 보고 계신 것은 소프트웨어 레코드입니다: AI 스택의 도구 또는 플랫폼 — 누가 관리하며 어떤 하드웨어에서 실행되는지를 다룹니다.
vLLM's PagedAttention treats the KV cache like virtual memory, ending the fragmentation that wasted most inference GPU memory and multiplying throughput. Born at UC Berkeley in 2023, it became the default open serving engine across clouds and enterprises, with hardware vendors (NVIDIA, AMD, AWS, Google) all contributing backends.
전체 스택에서의 연결 구조
이 레코드의 링크를 한눈에 확인하세요 — 그룹을 클릭하면 해당 위치로 이동합니다.
경쟁 제품
출처
검토 기준일 2026-01-15 — 보기 방법론.