AWS Inferentia2
Amazon's inference chip — cheap tokens for production serving.
Anda sedang melihat entri chip: apa itu prosesor ini, spesifikasi utamanya, siapa yang merancang, memproduksi, dan memasok komponennya, serta di mana chip ini digunakan.
Inferentia2 is the serving half of Annapurna Labs' silicon line: 32 GB of HBM per chip and a compiler stack (Neuron) that targets cost per inference rather than peak FLOPS. Inf2 instances gang up to 12 chips for large-model serving.
Spesifikasi & fakta utama
Setiap angka diberi label berdasarkan sumbernya: spesifikasi vendor, klaim vendor, dilaporkan, estimasi, atau resmi. "Tidak diungkapkan secara publik" berarti tepat seperti itu — kami tidak pernah mengarang nilai.
Overview
Memori
Komputasi
Physical
Bagaimana ini terhubung ke bagian lain dari stack
Tautan catatan ini sekilas — klik grup untuk langsung menuju ke sana.
Dirancang oleh
Tersedia dari
Terkait
Sumber
Rekaman ditinjau per 2026-01-15 — lihat Metodologi.