Attention Is All You Need (2017)
The eight Google authors who invented the transformer.
Anda sedang melihat entri makalah penelitian: sebuah makalah penting dan apa yang diperkenalkannya ke bidang ini.
Vaswani, Shazeer, Parmar, Uszkoreit, Jones, Gomez, Kaiser and Polosukhin replaced recurrence entirely with self-attention, making sequence models parallelizable — and therefore scalable on GPUs. Cited hundreds of thousands of times, it is the single most consequential paper in this database: GPT, Claude, Gemini, Llama and nearly everything else instantiate it. All eight authors left Google, mostly to found companies (Cohere, Character.AI, Adept, Essential AI, Sakana).
Bagaimana ini terhubung ke bagian lain dari stack
Tautan catatan ini sekilas — klik grup untuk langsung menuju ke sana.
Ditulis oleh
Diperkenalkan pada
Dasar untuk
Sumber
Rekaman ditinjau per 2026-01-15 — lihat Metodologi.