vLLM
Yazılım
Çıkarım
Ajanlar
The open-source serving engine that made GPU inference efficient.
Bir yazılım kaydına bakıyorsunuz: yapay zeka yığınındaki bir araç veya platform — kimin geliştirip sürdürdüğü ve hangi donanım üzerinde çalıştığı.
vLLM's PagedAttention treats the KV cache like virtual memory, ending the fragmentation that wasted most inference GPU memory and multiplying throughput. Born at UC Berkeley in 2023, it became the default open serving engine across clouds and enterprises, with hardware vendors (NVIDIA, AMD, AWS, Google) all contributing backends.
Bu, yığının geri kalanıyla nasıl bağlantılı?
Bu kaydın bağlantılarına hızlı bakış — bir gruba tıklayarak o bölüme atlayın.
Üzerinde çalışır
Rakipler
Kaynaklar
İncelenen kayıt tarihi: 2026-01-15 — görüntüle Metodoloji.