Startseite › Forschungspapiere › FlashAttention (2022)
FlashAttention (2022)
Forschungspapier
Systeme
The kernel trick that made long context affordable.
Sie sehen einen Forschungspapier-Eintrag: ein wegweisendes Paper und was es dem Fachgebiet gebracht hat.
Tri Dao's FlashAttention reordered attention computation around GPU memory hierarchy — exact results, several times faster, memory linear instead of quadratic. Versions 2 and 3 chase each hardware generation; virtually every serious training and inference stack ships it. Systems research as leverage: one algorithm changed the economics of every cluster.
So hängt das mit dem Rest des Stacks zusammen
Die Verknüpfungen dieses Datensatzes auf einen Blick – klicken Sie auf eine Gruppe, um dorthin zu springen.
Verwandt
Quellen
Datensatz geprüft am 2026-01-15 — Siehe Methodik.