vLLM
Phần mềm
Suy luận (Inference)
Tác nhân
The open-source serving engine that made GPU inference efficient.
Bạn đang xem hồ sơ phần mềm: một công cụ hoặc nền tảng trong hệ sinh thái AI — ai duy trì và nó chạy trên phần cứng nào.
vLLM's PagedAttention treats the KV cache like virtual memory, ending the fragmentation that wasted most inference GPU memory and multiplying throughput. Born at UC Berkeley in 2023, it became the default open serving engine across clouds and enterprises, with hardware vendors (NVIDIA, AMD, AWS, Google) all contributing backends.
Kết nối của mục này với phần còn lại của hệ thống
Các liên kết của hồ sơ này trong nháy mắt — nhấp vào một nhóm để chuyển đến nhóm đó.
Chạy trên
Cạnh tranh với
Nguồn
Hồ sơ được xem xét tính đến 2026-01-15 — xem Phương pháp luận.