AWS Inferentia2
Amazon's inference chip — cheap tokens for production serving.
U bekijkt een chip-record: wat deze processor is, de belangrijkste specificaties, wie hem ontwerpt, produceert en van onderdelen voorziet, en waar hij wordt ingezet.
Inferentia2 is the serving half of Annapurna Labs' silicon line: 32 GB of HBM per chip and a compiler stack (Neuron) that targets cost per inference rather than peak FLOPS. Inf2 instances gang up to 12 chips for large-model serving.
Specificaties & kernfeiten
Elk cijfer is voorzien van een bronvermelding: vendor spec, vendor claim, reported, estimate of official. "Not publicly disclosed" betekent precies dat — wij verzinnen nooit waarden.
Overview
Geheugen
Rekenkracht
Physical
Hoe dit aansluit op de rest van de stack
De koppelingen van dit record in één oogopslag — klik op een groep om er naartoe te springen.
Ontworpen door
Beschikbaar vanaf
Gerelateerd
Bronnen
Record beoordeeld per 2026-01-15 — bekijk Methodologie.