vLLM
Software
Inferencia
Agentes
The open-source serving engine that made GPU inference efficient.
Estás viendo un registro de software: una herramienta o plataforma en el stack de IA, quién la mantiene y en qué hardware se ejecuta.
vLLM's PagedAttention treats the KV cache like virtual memory, ending the fragmentation that wasted most inference GPU memory and multiplying throughput. Born at UC Berkeley in 2023, it became the default open serving engine across clouds and enterprises, with hardware vendors (NVIDIA, AMD, AWS, Google) all contributing backends.
Cómo se conecta con el resto del stack
Los enlaces de esta ficha de un vistazo: haz clic en un grupo para ir directamente a él.
Se ejecuta en
Compite con
Fuentes
Registro revisado a fecha de 2026-01-15 — ver Metodología.