AWS Inferentia2
芯片
AI加速器
发货中
Amazon's inference chip — cheap tokens for production serving.
您正在查看一条芯片记录：该处理器是什么、其关键规格、谁设计它、谁制造它、谁供应其零部件，以及它被用在哪里。
Inferentia2 is the serving half of Annapurna Labs' silicon line: 32 GB of HBM per chip and a compiler stack (Neuron) that targets cost per inference rather than peak FLOPS. Inf2 instances gang up to 12 chips for large-model serving.
规格与关键参数
每个数据均标注来源依据：厂商规格、厂商声明、公开报道、估算或官方数据。"未公开披露"即字面含义——我们从不捏造数值。
Overview
Designer
AWS (Annapurna Labs)
GA
April 2023
内存
Memory
32 GB HBM per chipVendor spec
算力
FP16/BF16
190 TFLOPSVendor spec
Physical
Scale
up to 12 chips per Inf2 instance, NeuronLink interconnectVendor spec
它如何与整个技术栈相连
本记录的关联链接一览——点击分组可直接跳转。
来源
记录审阅截至 2026-01-15 — 查看 方法论.