Home › Onderzoeksartikelen › FlashAttention (2022)
FlashAttention (2022)
Onderzoeksartikel
Systemen
The kernel trick that made long context affordable.
U bekijkt een onderzoeksartikelrecord: een invloedrijk artikel en wat het aan het vakgebied heeft toegevoegd.
Tri Dao's FlashAttention reordered attention computation around GPU memory hierarchy — exact results, several times faster, memory linear instead of quadratic. Versions 2 and 3 chase each hardware generation; virtually every serious training and inference stack ships it. Systems research as leverage: one algorithm changed the economics of every cluster.
Hoe dit aansluit op de rest van de stack
De koppelingen van dit record in één oogopslag — klik op een groep om er naartoe te springen.
Gerelateerd
Bronnen
Record beoordeeld per 2026-01-15 — bekijk Methodologie.