NVIDIA H100

Çip GPU Sevkiyat

The GPU of the ChatGPT era — the unit of account for the 2023–25 AI build-out.

Bir çip kaydına bakıyorsunuz: bu işlemcinin ne olduğu, temel özellikleri, kimin tasarladığı, kimin ürettiği, parçalarını kimin tedarik ettiği ve nerede kullanıldığı.

Hopper's H100 became the defining commodity of the AI boom: clusters were sized in H100s, startups raised funding denominated in them, and export policy was written around them. Its Transformer Engine pairs fourth-generation tensor cores with FP8 precision, roughly tripling A100 training throughput per chip.

xAI's Colossus assembled roughly 100,000 of them in 122 days; Meta, Microsoft, OpenAI, Google and every major cloud deployed them in the hundreds of thousands. Blackwell succeeded it in 2025, but H100/H200 fleets still carry a large share of world AI compute.

Teknik özellikler ve temel bilgiler

Her değer kaynağına göre etiketlenmiştir: satıcı spesifikasyonu, satıcı iddiası, raporlanan, tahmin veya resmi. "Kamuoyuyla paylaşılmamış" ifadesi tam olarak bunu ifade eder — değer uydurmayız.

Overview

Designer NVIDIA

Architecture Hopper (GH100)

Announced March 2022 (GTC); shipping volume from early 2023

Status Shipping — succeeded by Blackwell at the frontier

Manufacturing

Foundry / process TSMC 4N (custom 5 nm-class)Vendor spec

Transistors 80 billionVendor spec

Die size 814 mm²Vendor spec

Packaging CoWoS-S with 5 or 6 HBM stacksVendor spec

Bellek

Memory 80 GB HBM3 (SXM); 94 GB HBM3 (NVL); 80 GB HBM2e (PCIe)Vendor spec

Memory bandwidth 3.35 (SXM) / 3.9 (NVL) TB/sVendor spec

Hesaplama

TF32 tensor (dense) 495 TFLOPSVendor spec NVIDIA datasheets often headline throughput with structured sparsity; figures here are dense unless noted.

BF16/FP16 tensor (dense) 990 TFLOPSVendor spec

FP8 tensor (dense) 1,979 TFLOPSVendor spec FP8 via the Transformer Engine was Hopper's signature feature

INT8 tensor (dense) 1,979 TOPSVendor spec

FP64 tensor 67 TFLOPSVendor spec

AI Performance

MLPerf Set the reference results for training and inference benchmarks across 2023–24 submissionsMLPerf

Güç

TDP up to 700 (SXM) / 350 (PCIe) WVendor spec

Physical

Form factors SXM5, PCIe, NVL (paired PCIe)

Interconnect NVLink 4 — 900 GB/s; PCIe 5.0Vendor spec

Fiyat

Launch price Not publicly disclosed

Market price ~$25,000–40,000 per GPU at the 2023–24 peakReported

Cloud rental Roughly $2–7 per GPU-hour across major and specialist clouds during 2025 — falling steadilyReported varies with commitment and provider

Bu, yığının geri kalanıyla nasıl bağlantılı?

Bu kaydın bağlantılarına hızlı bakış — bir gruba tıklayarak o bölüme atlayın. +11 aşağıda daha fazla grup var.

Tasarımcı

NVIDIA

Tarafından üretildi

TSMC

Süreç nodu

TSMC N5 / 4N (5 nm class)

Paketleme

CoWoS

Paketleme sağlayıcısı

TSMC

Bellek teknolojisi

HBM3

Belleği sağlayan

SK hynix

Ara bağlantı & ağ altyapısı

NVLink & NVSwitch InfiniBand

İçinde bulunur

Dell PowerEdge XE9680/XE9712 Supermicro NVL72 & 4U Liquid-Cooled Systems NVIDIA HGX H100/H200

Çalıştırmalar

Triton (OpenAI) PyTorch Megatron-Core vLLM

Destekleyen

CUDA

Eğitimde kullanıldığı modeller

Llama 3.1 405B Llama 4 Grok 3

Şuradan temin edilebilir

Amazon Web Services Microsoft Google (Alphabet) Oracle CoreWeave Lambda

Konuşlandırıldığı yer

xAI Colossus

Temel oluşturan

NVIDIA H800

Yerini alan

NVIDIA H200

Selefinin devamı

NVIDIA A100

Rakipler

AMD Instinct MI300X Google TPU v5p Groq LPU AWS Trainium2 Intel Gaudi 3 Huawei Ascend 910C

İlgili

Export Controls & the Chip War Training & Pre-training MLPerf

Kaynaklar

NVIDIA H100 page ↗ · Hopper architecture whitepaper ↗

İncelenen kayıt tarihi: 2026-01-15 — görüntüle Metodoloji.