Главная › Программное обеспечение › vLLM
vLLM
Программное обеспечение
Инференс
Агенты
The open-source serving engine that made GPU inference efficient.
Перед вами запись о программном обеспечении — инструменте или платформе в AI-стеке: кто её поддерживает и на каком оборудовании она работает.
vLLM's PagedAttention treats the KV cache like virtual memory, ending the fragmentation that wasted most inference GPU memory and multiplying throughput. Born at UC Berkeley in 2023, it became the default open serving engine across clouds and enterprises, with hardware vendors (NVIDIA, AMD, AWS, Google) all contributing backends.
Место в общей экосистеме
Ссылки этой записи с первого взгляда — нажмите на группу, чтобы перейти к ней.
Работает на
Конкурирует с
Источники
Запись актуальна на 2026-01-15 — смотреть Методология.