AWS Inferentia2
Amazon's inference chip — cheap tokens for production serving.
Está a ver um registo de chip: o que este processador é, as suas especificações principais, quem o concebe, quem o fabrica e quem fornece os seus componentes, e onde é utilizado.
Inferentia2 is the serving half of Annapurna Labs' silicon line: 32 GB of HBM per chip and a compiler stack (Neuron) that targets cost per inference rather than peak FLOPS. Inf2 instances gang up to 12 chips for large-model serving.
Especificações e dados principais
Cada valor é rotulado pela base: especificação do fabricante, declaração do fabricante, reportado, estimativa ou oficial. "Não divulgado publicamente" significa exatamente isso — nunca inventamos valores.
Overview
Memória
Computação
Physical
Como este elemento se liga ao resto da stack
As ligações deste registo num relance — clique num grupo para ir diretamente até ele.
Concebido por
Disponível a partir de
Relacionados
Fontes
Registro revisado em 2026-01-15 — ver Metodologia.