vLLM
Software
Inferentie
Actief
The open-source serving engine that made GPU inference efficient.
U bekijkt een softwarerecord: een tool of platform in de AI-stack — wie het beheert en op welke hardware het draait.
vLLM's PagedAttention treats the KV cache like virtual memory, ending the fragmentation that wasted most inference GPU memory and multiplying throughput. Born at UC Berkeley in 2023, it became the default open serving engine across clouds and enterprises, with hardware vendors (NVIDIA, AMD, AWS, Google) all contributing backends.
Hoe dit aansluit op de rest van de stack
De koppelingen van dit record in één oogopslag — klik op een groep om er naartoe te springen.
Draait op
Concurreert met
Bronnen
Record beoordeeld per 2026-01-15 — bekijk Methodologie.