vLLM
Software
Inferência
Ativo
The open-source serving engine that made GPU inference efficient.
Está a ver um registo de software: uma ferramenta ou plataforma na stack de IA — quem a mantém e em que hardware corre.
vLLM's PagedAttention treats the KV cache like virtual memory, ending the fragmentation that wasted most inference GPU memory and multiplying throughput. Born at UC Berkeley in 2023, it became the default open serving engine across clouds and enterprises, with hardware vendors (NVIDIA, AMD, AWS, Google) all contributing backends.
Como este elemento se liga ao resto da stack
As ligações deste registo num relance — clique num grupo para ir diretamente até ele.
Executa em
Concorre com
Fontes
Registro revisado em 2026-01-15 — ver Metodologia.