vLLM
Logiciels
Inférence
Actif
The open-source serving engine that made GPU inference efficient.
Vous consultez une fiche logiciel : un outil ou une plateforme dans la chaîne de l'IA — qui le maintient et sur quel matériel il fonctionne.
vLLM's PagedAttention treats the KV cache like virtual memory, ending the fragmentation that wasted most inference GPU memory and multiplying throughput. Born at UC Berkeley in 2023, it became the default open serving engine across clouds and enterprises, with hardware vendors (NVIDIA, AMD, AWS, Google) all contributing backends.
Comment cela s'articule avec le reste de la chaîne
Les liens de cette fiche en un coup d'œil — cliquez sur un groupe pour y accéder directement.
Fonctionne sur
En concurrence avec
Sources
Fiche examinée au 2026-01-15 — voir Méthodologie.