Início › Artigos científicos › FlashAttention (2022)
FlashAttention (2022)
Artigo científico
Sistemas
The kernel trick that made long context affordable.
Está a ver um registo de artigo científico: um artigo de referência e o que introduziu na área.
Tri Dao's FlashAttention reordered attention computation around GPU memory hierarchy — exact results, several times faster, memory linear instead of quadratic. Versions 2 and 3 chase each hardware generation; virtually every serious training and inference stack ships it. Systems research as leverage: one algorithm changed the economics of every cluster.
Como este elemento se liga ao resto da stack
As ligações deste registo num relance — clique num grupo para ir diretamente até ele.
Relacionados
Fontes
Registro revisado em 2026-01-15 — ver Metodologia.