Ghi chép thực địa
Nếu bạn chỉ học được một bài học phần cứng từ toàn bộ trang web này, hãy chọn bài này: hiệu suất AI thường được quyết định bởi bộ nhớ, không phải compute. Ba công ty sản xuất bộ nhớ quan trọng, sản phẩm đã cháy hàng nhiều năm, và mọi lộ trình GPU trên trang web này đều phải uốn mình xung quanh điều đó.
Bắt đầu với ba khái niệm này
HB
High-Bandwidth Memory (HBM)
Đọc cái này trước. Bộ nhớ xếp tầng là lý do các chip AI hiện đại hoạt động được.
HB
HBM4
Thế hệ 2026 — rộng hơn, nhanh hơn, và đã được đặt trước hết.
SK hynix
Người chiến thắng thầm lặng của toàn bộ làn sóng bùng nổ AI.
SK hynix
Người chiến thắng thầm lặng của toàn bộ làn sóng bùng nổ AI.
Memory technologies
9
HB
High-Bandwidth Memory (HBM)
Stacked DRAM wired straight to the GPU — the scarcest commodity in AI.
HB
HBM3E
The 2024–26 workhorse: up to 36 GB per stack in 12-high form.
HB
HBM4
2026's generation: a 2,048-bit interface and logic-die base from the foundries.
CX
CXL
Compute Express Link: pooled and expanded memory over PCIe wiring.
D&
DDR5 & LPDDR5X
The system memory feeding CPUs — and, via Grace, the GPUs too.
GD
GDDR7
Graphics memory conscripted for cost-efficient inference.
HB
HBM2
The 2016–2020 generation that powered V100 and A100-40GB.
HB
HBM2E
The refined HBM2 behind A100-80GB, Gaudi and Maia.
HB
HBM3
The H100/MI300X generation: ~0.8 TB/s per stack.