Databasesectie · 12 records
Geheugen
High-bandwidth memory is the scarcest commodity in AI hardware. The generations, the suppliers and where each is used.
Veldnotities
Als u één hardwareles uit deze hele site meeneemt, laat het dan deze zijn: AI-prestaties worden doorgaans bepaald door geheugen, niet door rekenkracht. Drie bedrijven maken het geheugen dat ertoe doet, het is al jaren uitverkocht, en elke GPU-roadmap op deze site buigt er omheen.
Begin met deze drie
HB
High-Bandwidth Memory (HBM)
Lees dit eerst. Gestapeld geheugen is de reden waarom moderne AI-chips überhaupt werken.
HB
HBM4
De generatie van 2026 — breder, sneller, en al vergeven.
SK hynix
De stille winnaar van de hele AI-boom.
SK hynix
De stille winnaar van de hele AI-boom.
Memory technologies
9
HB
High-Bandwidth Memory (HBM)
Stacked DRAM wired straight to the GPU — the scarcest commodity in AI.
HB
HBM3E
The 2024–26 workhorse: up to 36 GB per stack in 12-high form.
HB
HBM4
2026's generation: a 2,048-bit interface and logic-die base from the foundries.
CX
CXL
Compute Express Link: pooled and expanded memory over PCIe wiring.
D&
DDR5 & LPDDR5X
The system memory feeding CPUs — and, via Grace, the GPUs too.
GD
GDDR7
Graphics memory conscripted for cost-efficient inference.
HB
HBM2
The 2016–2020 generation that powered V100 and A100-40GB.
HB
HBM2E
The refined HBM2 behind A100-80GB, Gaudi and Maia.
HB
HBM3
The H100/MI300X generation: ~0.8 TB/s per stack.
