Главная › Научные статьи › FlashAttention (2022)
FlashAttention (2022)
Научная статья
Системы
The kernel trick that made long context affordable.
Перед вами запись об исследовательской статье — знаковой работе и том, что она привнесла в область.
Tri Dao's FlashAttention reordered attention computation around GPU memory hierarchy — exact results, several times faster, memory linear instead of quadratic. Versions 2 and 3 chase each hardware generation; virtually every serious training and inference stack ships it. Systems research as leverage: one algorithm changed the economics of every cluster.
Место в общей экосистеме
Ссылки этой записи с первого взгляда — нажмите на группу, чтобы перейти к ней.
Связанные
Источники
Запись актуальна на 2026-01-15 — смотреть Методология.