Beranda › Makalah Riset › FlashAttention (2022)
FlashAttention (2022)
Makalah Riset
Sistem
The kernel trick that made long context affordable.
Anda sedang melihat entri makalah penelitian: sebuah makalah penting dan apa yang diperkenalkannya ke bidang ini.
Tri Dao's FlashAttention reordered attention computation around GPU memory hierarchy — exact results, several times faster, memory linear instead of quadratic. Versions 2 and 3 chase each hardware generation; virtually every serious training and inference stack ships it. Systems research as leverage: one algorithm changed the economics of every cluster.
Bagaimana ini terhubung ke bagian lain dari stack
Tautan catatan ini sekilas — klik grup untuk langsung menuju ke sana.
Terkait
Sumber
Rekaman ditinjau per 2026-01-15 — lihat Metodologi.