NVIDIA H100

Chip GPU Vận chuyển

The GPU of the ChatGPT era — the unit of account for the 2023–25 AI build-out.

Bạn đang xem hồ sơ chip: bộ xử lý này là gì, các thông số kỹ thuật chính, ai thiết kế, ai sản xuất và cung cấp linh kiện, và nó được sử dụng ở đâu.

Hopper's H100 became the defining commodity of the AI boom: clusters were sized in H100s, startups raised funding denominated in them, and export policy was written around them. Its Transformer Engine pairs fourth-generation tensor cores with FP8 precision, roughly tripling A100 training throughput per chip.

xAI's Colossus assembled roughly 100,000 of them in 122 days; Meta, Microsoft, OpenAI, Google and every major cloud deployed them in the hundreds of thousands. Blackwell succeeded it in 2025, but H100/H200 fleets still carry a large share of world AI compute.

Thông số kỹ thuật & dữ liệu chính

Mỗi số liệu được gán nhãn theo cơ sở: thông số kỹ thuật từ nhà cung cấp, tuyên bố từ nhà cung cấp, đã được báo cáo, ước tính, hoặc chính thức. "Không được công bố công khai" có nghĩa đúng như vậy — chúng tôi không bao giờ bịa đặt số liệu.

Overview

Designer NVIDIA

Architecture Hopper (GH100)

Announced March 2022 (GTC); shipping volume from early 2023

Status Shipping — succeeded by Blackwell at the frontier

Manufacturing

Foundry / process TSMC 4N (custom 5 nm-class)Vendor spec

Transistors 80 billionVendor spec

Die size 814 mm²Vendor spec

Packaging CoWoS-S with 5 or 6 HBM stacksVendor spec

Bộ nhớ

Memory 80 GB HBM3 (SXM); 94 GB HBM3 (NVL); 80 GB HBM2e (PCIe)Vendor spec

Memory bandwidth 3.35 (SXM) / 3.9 (NVL) TB/sVendor spec

Điện toán

TF32 tensor (dense) 495 TFLOPSVendor spec NVIDIA datasheets often headline throughput with structured sparsity; figures here are dense unless noted.

BF16/FP16 tensor (dense) 990 TFLOPSVendor spec

FP8 tensor (dense) 1,979 TFLOPSVendor spec FP8 via the Transformer Engine was Hopper's signature feature

INT8 tensor (dense) 1,979 TOPSVendor spec

FP64 tensor 67 TFLOPSVendor spec

AI Performance

MLPerf Set the reference results for training and inference benchmarks across 2023–24 submissionsMLPerf

Điện năng

TDP up to 700 (SXM) / 350 (PCIe) WVendor spec

Physical

Form factors SXM5, PCIe, NVL (paired PCIe)

Interconnect NVLink 4 — 900 GB/s; PCIe 5.0Vendor spec

Giá

Launch price Not publicly disclosed

Market price ~$25,000–40,000 per GPU at the 2023–24 peakReported

Cloud rental Roughly $2–7 per GPU-hour across major and specialist clouds during 2025 — falling steadilyReported varies with commitment and provider

Kết nối của mục này với phần còn lại của hệ thống

Các liên kết của hồ sơ này trong nháy mắt — nhấp vào một nhóm để chuyển đến nhóm đó. +11 các nhóm khác bên dưới.

Thiết kế bởi

NVIDIA

Được sản xuất bởi

TSMC

Node quy trình

TSMC N5 / 4N (5 nm class)

Đóng gói

CoWoS

Nhà cung cấp đóng gói

TSMC

Công nghệ bộ nhớ

HBM3

Bộ nhớ cung cấp bởi

SK hynix

Kết nối liên thông & mạng

NVLink & NVSwitch InfiniBand

Có mặt trong

Dell PowerEdge XE9680/XE9712 Supermicro NVL72 & 4U Liquid-Cooled Systems NVIDIA HGX H100/H200

Lần chạy

Triton (OpenAI) PyTorch Megatron-Core vLLM

Được hỗ trợ bởi

CUDA

Được dùng để huấn luyện

Llama 3.1 405B Llama 4 Grok 3

Có sẵn từ

Amazon Web Services Microsoft Google (Alphabet) Oracle CoreWeave Lambda

Triển khai tại

xAI Colossus

Cơ sở cho

NVIDIA H800

Được kế nhiệm bởi

NVIDIA H200

Kế nhiệm

NVIDIA A100

Cạnh tranh với

AMD Instinct MI300X Google TPU v5p Groq LPU AWS Trainium2 Intel Gaudi 3 Huawei Ascend 910C

Liên quan

Export Controls & the Chip War Training & Pre-training MLPerf

Nguồn

NVIDIA H100 page ↗ · Hopper architecture whitepaper ↗

Hồ sơ được xem xét tính đến 2026-01-15 — xem Phương pháp luận.

NVIDIA H100 ☆