Accueil › Articles de recherche › FlashAttention (2022)
FlashAttention (2022)
Article de recherche
Systèmes
The kernel trick that made long context affordable.
Vous consultez une fiche article de recherche : un article de référence et ce qu'il a apporté au domaine.
Tri Dao's FlashAttention reordered attention computation around GPU memory hierarchy — exact results, several times faster, memory linear instead of quadratic. Versions 2 and 3 chase each hardware generation; virtually every serious training and inference stack ships it. Systems research as leverage: one algorithm changed the economics of every cluster.
Comment cela s'articule avec le reste de la chaîne
Les liens de cette fiche en un coup d'œil — cliquez sur un groupe pour y accéder directement.
Connexes
Sources
Fiche examinée au 2026-01-15 — voir Méthodologie.