Trang chủ › Bài báo nghiên cứu › FlashAttention (2022)
FlashAttention (2022)
Bài báo nghiên cứu
Các hệ thống
The kernel trick that made long context affordable.
Bạn đang xem hồ sơ bài báo nghiên cứu: một bài báo có tầm ảnh hưởng lớn và những đóng góp mà nó mang lại cho lĩnh vực.
Tri Dao's FlashAttention reordered attention computation around GPU memory hierarchy — exact results, several times faster, memory linear instead of quadratic. Versions 2 and 3 chase each hardware generation; virtually every serious training and inference stack ships it. Systems research as leverage: one algorithm changed the economics of every cluster.
Kết nối của mục này với phần còn lại của hệ thống
Các liên kết của hồ sơ này trong nháy mắt — nhấp vào một nhóm để chuyển đến nhóm đó.
Liên quan
Nguồn
Hồ sơ được xem xét tính đến 2026-01-15 — xem Phương pháp luận.