Beranda › Perangkat Lunak › vLLM
vLLM
Perangkat Lunak
Inferensi
Agen
The open-source serving engine that made GPU inference efficient.
Anda sedang melihat entri perangkat lunak: sebuah alat atau platform dalam AI stack — siapa yang memeliharanya dan perangkat keras apa yang dijalankannya.
vLLM's PagedAttention treats the KV cache like virtual memory, ending the fragmentation that wasted most inference GPU memory and multiplying throughput. Born at UC Berkeley in 2023, it became the default open serving engine across clouds and enterprises, with hardware vendors (NVIDIA, AMD, AWS, Google) all contributing backends.
Bagaimana ini terhubung ke bagian lain dari stack
Tautan catatan ini sekilas — klik grup untuk langsung menuju ke sana.
Berjalan di
Bersaing dengan
Sumber
Rekaman ditinjau per 2026-01-15 — lihat Metodologi.