Startseite › Software › vLLM
vLLM
Software
Inferenz
Agents
The open-source serving engine that made GPU inference efficient.
Sie sehen einen Software-Eintrag: ein Tool oder eine Plattform im KI-Stack — wer sie pflegt und auf welcher Hardware sie läuft.
vLLM's PagedAttention treats the KV cache like virtual memory, ending the fragmentation that wasted most inference GPU memory and multiplying throughput. Born at UC Berkeley in 2023, it became the default open serving engine across clouds and enterprises, with hardware vendors (NVIDIA, AMD, AWS, Google) all contributing backends.
So hängt das mit dem Rest des Stacks zusammen
Die Verknüpfungen dieses Datensatzes auf einen Blick – klicken Sie auf eine Gruppe, um dorthin zu springen.
Läuft auf
Konkurriert mit
Quellen
Datensatz geprüft am 2026-01-15 — Siehe Methodik.