vLLM
Software
Inferenza
Attivo
The open-source serving engine that made GPU inference efficient.
Stai visualizzando un record software: uno strumento o una piattaforma nello stack AI — chi lo mantiene e su quale hardware gira.
vLLM's PagedAttention treats the KV cache like virtual memory, ending the fragmentation that wasted most inference GPU memory and multiplying throughput. Born at UC Berkeley in 2023, it became the default open serving engine across clouds and enterprises, with hardware vendors (NVIDIA, AMD, AWS, Google) all contributing backends.
Come si collega al resto dello stack
I collegamenti di questa scheda a colpo d'occhio — clicca un gruppo per raggiungerlo.
Funziona su
È in concorrenza con
Fonti
Record revisionato al 2026-01-15 — vedi Metodologia.