Home › Articoli di ricerca › FlashAttention (2022)
FlashAttention (2022)
Articolo di ricerca
Sistemi
The kernel trick that made long context affordable.
Stai visualizzando un record di paper di ricerca: un articolo di riferimento e cosa ha introdotto nel campo.
Tri Dao's FlashAttention reordered attention computation around GPU memory hierarchy — exact results, several times faster, memory linear instead of quadratic. Versions 2 and 3 chase each hardware generation; virtually every serious training and inference stack ships it. Systems research as leverage: one algorithm changed the economics of every cluster.
Come si collega al resto dello stack
I collegamenti di questa scheda a colpo d'occhio — clicca un gruppo per raggiungerlo.
Correlati
Fonti
Record revisionato al 2026-01-15 — vedi Metodologia.