How an AI Data Center Is Built — Every Component, Every Maker

‹ Quay lại

Đọc trang này từ đầu đến cuối, bạn sẽ theo dõi được một chuỗi mua sắm thực tế: silicon → bo mạch → rack → cáp → làm mát → điện → phần mềm → mô hình. Chuỗi truy vết này áp dụng được cho bất kỳ bộ tăng tốc nào — chỉ cần thay thế giai đoạn đầu, phần còn lại hầu như không thay đổi.

1 Bản thân GPU là một chuỗi cung ứng

"Một GPU NVIDIA" thực chất là một tập hợp linh kiện từ năm quốc gia. NVIDIA thiết kế và viết phần mềm; hầu hết phần cứng đều do các công ty khác sản xuất.

Logic die (khối tính toán) TSMC 4NP process được sản xuất tại Đài Loan trên các máy móc chỉ ASML mới có thể chế tạo — ASML EUV TSMC có phải là lựa chọn duy nhất không? Ở phân khúc công nghệ tiên tiến nhất, thực tế là có — mọi chip AI hàng đầu hiện nay đều được sản xuất tại đây. Hai đối thủ đang theo đuổi: Samsung Foundry · Intel Foundry

Bộ nhớ (ngăn xếp HBM) SK hynix Micron Samsung tám stack mỗi B200; đã bán hết hàng khoảng một năm trước — HBM3E

Đóng gói (die + bộ nhớ ghép lại) TSMC CoWoS Amkor ASE bước kiểm soát nguồn cung GPU toàn cầu trong giai đoạn 2023–24

Lắp ráp bo mạch Foxconn Quanta các module SXM và bo mạch superchip được sản xuất bởi các nhà sản xuất Đài Loan, không phải NVIDIA

Phân phối điện trên bo mạch Monolithic Power Infineon Delta hạ điện áp rack xuống ~1 V ở mức hơn một nghìn ampe mỗi die

Giao diện mạng NVIDIA BlueField / ConnectX một NIC 400–800G mỗi GPU là cấu hình tiêu chuẩn

Bảng thông số kỹ thuật đầy đủ: B200 · GB200 · hoặc tra cứu chuỗi cung ứng của bất kỳ chip nào từ trang hồ sơ tương ứng.

2 Máy chủ và rack

GPU được tích hợp trong các hệ thống kỹ thuật hoàn chỉnh. Ở quy mô Blackwell, bản thân rack chính là sản phẩm: 18 khay tính toán, 9 khay switch, một thanh nối đồng.

Hệ thống ở quy mô rack GB200 NVL72 HGX baseboards ~120 kW mỗi rack — lượng điện tiêu thụ của một trăm hộ gia đình trong diện tích một tủ quần áo

Ai xây dựng chúng Foxconn Quanta Wiwynn ODM cho các hyperscaler…

…và ai là đơn vị gắn thương hiệu cho chúng Supermicro Dell HPE Lenovo kênh doanh nghiệp, kèm theo hợp đồng dịch vụ

Đầu nối & bộ định thời lại Amphenol TE Connectivity Astera Labs hàng nghìn đầu tiếp xúc tốc độ cao mỗi rack; retimer duy trì tín hiệu PCIe xuyên suốt chassis

3 Hệ thống cáp

Câu hỏi mà mọi người hay quên đặt ra. Ba loại dây, ba hệ sinh thái nhà cung cấp — và ở quy mô cụm máy tính, chi phí cáp lên đến hàng trăm triệu đô la.

Bên trong rack: copper Amphenol TE Connectivity Credo DAC và cáp điện tích cực; riêng trục NVLink của NVL72 đã có ~5.000 cáp đồng — hơn ba km cáp mỗi rack

Giữa các rack: cáp quang 800G optics Coherent Lumentum Fabrinet điện

Bản thân tấm kính Corning số km cáp quang trong khuôn viên campus hiện đã lên đến hàng triệu kilômét

Các switch mà tất cả đều kết nối vào NVIDIA InfiniBand Spectrum-X Arista Broadcom silicon lựa chọn giữa InfiniBand và Ethernet là quyết định kiến trúc quan trọng nhất sau GPU

Tìm hiểu: Làm thế nào 100.000 GPU trở thành một máy tính →

4 Làm mát — và lý do nó quyết định cục diện

Tổng quan

Trên chip: tấm làm lạnh Direct-to-chip CoolIT Boyd tấm vi kênh đồng gắn trực tiếp lên từng GPU, CPU và switch ASIC

Trong hàng rack: CDU Coolant distribution units Vertiv Schneider (Motivair) Delta Các cụm bơm và bộ trao đổi nhiệt công suất 2 MW — một danh mục sản phẩm gần như chưa tồn tại vào năm 2022

Thải nhiệt Rear-door HX Immersion Munters bộ làm mát khô, tháp giải nhiệt hoặc chiller đặt ngoài trời; vòng kín nạp nước một lần và gần như không tiêu thụ thêm

Tín hiệu chọn địa điểm: đây là lý do các data center trước đây thường được xây dựng gần sông hồ (thiết kế làm mát bay hơi), và tại sao thế hệ vòng kín mới có thể đặt tại những vùng khô hạn có giá điện rẻ. Các chuyên gia khảo sát nhận ra vị trí campus trên bản đồ chính nhờ những dấu hiệu này — quyền khai thác nước, hành lang điện cao thế, tuyến cáp quang, khí hậu mát mẻ. Tìm hiểu: Data center được đặt ở đâu, và tại sao →

5 Phòng cấp điện

Giữa lưới điện và các rack là cả một tòa nhà chứa đầy thiết bị có thời gian đặt hàng nhiều năm — thường đây mới là nút thắt thực sự quyết định tiến độ.

Transformer & kết nối lưới điện Hitachi Energy Siemens Energy Interconnection Thời gian chờ từ 3–5 năm khiến đây trở thành các thiết bị khan hiếm nhất trong ngành

Thiết bị đóng cắt, UPS, busway Eaton Schneider ABB Vertiv hệ thống điện cốt lõi; các rack thế hệ tiếp theo hướng tới phân phối DC 800 volt

Nguồn điện dự phòng & cầu nối Cummins Caterpillar Gas turbines Bloom fuel cells máy phát điện dự phòng khi mất điện; cả nhà máy turbine nguyên chiếc ở những nơi hàng đợi lưới điện quá chậm

Bản thân các megawatt Các dự án điện Khởi động lại nhà máy hạt nhân Năng lượng mặt trời + lưu trữ các hợp đồng cung cấp điện cho các campus — được lập bản đồ trong mục Điện năng

Tự tính toán: Máy tính điện năng cụm →

6 Phần mềm bạn cài đặt

Rack đến dưới dạng khung kim loại. Đây là toàn bộ các lớp, theo thứ tự lắp đặt — và đúng vậy, bắt đầu từ Linux.

Hệ điều hành Linux hầu hết mọi máy chủ AI trên thế giới đều chạy nó — Ubuntu, RHEL, hoặc bản build nội bộ của các hyperscaler

Driver & nền tảng điện toán CUDA ROCm (AMD) XLA (TPU) lớp làm cho silicon có thể lập trình được — và là hào sâu nhất trong ngành

Hệ thống ống dẫn cluster NCCL Kubernetes Slurm Ray collective để đồng bộ GPU; scheduler để chia sẻ tài nguyên máy

Framework huấn luyện PyTorch JAX Megatron DeepSpeed nơi mã nguồn mô hình thực sự tồn tại

Tiếp theo: cài đặt mô hình của bạn Huấn luyện một mô hình hoặc tải về trọng số mở vLLM TensorRT-LLM serving engine chuyển đổi trọng số thành token mỗi giây — mục đích mà cả tòa nhà được xây dựng để phục vụ

Tìm hiểu: Cách một mô hình frontier được huấn luyện → · điều gì xảy ra khi bạn nhấn Enter →

Bên trong các gã khổng lồ: cùng một vấn đề, sáu cách giải quyết

Tất cả các bên ở trên đều bán cho các bên ở dưới — nhưng mỗi nhà tích hợp lớn xây dựng stack theo cách riêng. Đây là các cấu hình thực tế, được tổng hợp từ chính các bản ghi mà phần còn lại của cơ sở dữ liệu này sử dụng.

The vertical integrator

Google

The only player integrated from self-designed silicon to frontier model — no NVIDIA required anywhere in Gemini's path.

Điện toán TPU v7 Ironwood Trillium Its own TPUs — Ironwood for the inference era, Trillium in volume — plus NVIDIA GPUs rented out to Cloud customers.

Fabric TPU pods Optics 3D-torus inter-chip links reconfigured by in-house optical circuit switches; the Jupiter network carries the data center.

Rack & hệ thống TPU pods Self-designed: the 9,216-chip pod, not the server, is the unit of hardware.

Làm mát Direct-to-chip Direct liquid cooling on TPU pods since 2018 — the earliest big liquid fleet.

Điện năng Kairos fleet Nuclear A giant renewables book, the first corporate SMR fleet order, and restart interest.

Phần mềm JAX XLA Linux + Borg orchestration underneath; JAX and XLA compile straight to TPU.

Mô hình & địa điểm Gemini 3 Council Bluffs Gemini 3 trained and served on TPUs end to end.

The alliance at NVIDIA scale

Microsoft + OpenAI

The biggest NVIDIA buyer builds 'AI factories' for its partner's models — with its own silicon waiting in the wings.

Điện toán GB200 H100 Maia 100 Frontier NVIDIA fleets — GB200 today atop huge H100 estates — with in-house Maia 100 in supporting roles.

Fabric InfiniBand The world's largest InfiniBand deployments, flat networks spanning whole sites.

Rack & hệ thống GB200 NVL72 Foxconn Quanta ODM-built NVL72 racks and HGX servers from the Taiwanese manufacturers.

Làm mát Fairwater Direct-to-chip Closed-loop direct liquid at Fairwater — fill once, near-zero water after.

Điện năng Crane restart Constellation The Three Mile Island restart PPA (835 MW, 20 years) plus a 10.5 GW renewables framework.

Phần mềm DeepSpeed ONNX Runtime Linux + Azure's stack; DeepSpeed for training scale; ONNX for deployment.

Mô hình & địa điểm GPT-5 Fairwater Stargate GPT-5 trains and serves on this estate; Stargate adds OpenAI's own campuses.

The open-everything builder

xAI

The existence proof that a frontier cluster can be improvised in months — factory shell, gas turbines, batteries and all.

Điện toán H100 H200 ~100,000 H100s in 122 days, doubled since; GB200-class capacity at Colossus 2.

Fabric Spectrum-X The flagship Spectrum-X Ethernet deployment — NVIDIA networking without InfiniBand.

Rack & hệ thống Supermicro Dell Supermicro and Dell liquid-cooled systems, delivered at sprint pace.

Làm mát Direct-to-chip Direct liquid throughout — the density made air a non-starter on day one.

Điện năng Gas turbines Colossus On-site gas turbines bridging the grid queue, Tesla Megapacks smoothing training spikes.

Phần mềm CUDA A lean in-house training stack on Linux and CUDA — small team, big machine.

Mô hình & địa điểm Grok 4 Colossus Grok 3 and 4 trained at Colossus; Grok ships inside X.

The custom-silicon bet

AWS + Anthropic

The clearest test of whether a hyperscaler's own chips can carry a frontier lab — half a million Trainiums and counting.

Điện toán Trainium2 UltraServer Trainium2 UltraServers at Project Rainier scale, beside NVIDIA fleets for customers.

Fabric UltraServer NeuronLink inside the UltraServer; AWS's own EFA networking and Nitro offload beyond it.

Rack & hệ thống Annapurna/AWS Annapurna-designed, self-integrated — the cloud primitive as the building block.

Làm mát Direct-to-chip Liquid-and-air mix tuned per hall across the Rainier sites.

Điện năng Susquehanna X-energy Nuclear at Susquehanna, X-energy SMR backing, and the largest corporate renewables book.

Phần mềm PyTorch vLLM The Neuron SDK is the whole ballgame — porting the open stack to its own silicon.

Mô hình & địa điểm Claude 4.5 Project Rainier Claude trains at New Carlisle — and, uniquely, also runs on TPUs and GPUs elsewhere.

The embodied-AI factory

Tesla

Trains on video from millions of cars, ships the result back to them — with its own batteries steadying its own cluster.

Điện toán H100 Cortex The ~50,000-GPU Cortex cluster at Giga Texas; Dojo wound down for AI5/AI6 chips.

Fabric 800G optics Ethernet-fabric clusters sized for video-scale data ingest.

Rack & hệ thống Supermicro Supermicro and Dell systems, plus purpose-built data-hall extensions of the factory.

Làm mát Direct-to-chip A dedicated liquid-cooling plant built alongside the cluster.

Điện năng Gas turbines Grid supply buffered by its own Megapacks — the manufacturer as its own customer.

Phần mềm PyTorch Vision-only training pipeline on PyTorch; models compile down to the car's FSD computer.

Mô hình & địa điểm Tesla FSD Samsung FSD v13+ ships over the air; AI5/AI6 silicon comes from Samsung and TSMC.

Thiết kế bởi Annapurna, tự tích hợp — thành phần nguyên thủy của cloud là khối xây dựng cơ bản.

Danh sách theo dõi đầy đủ →

Silicon thách thức thế hệ nền tảng 2026–27, kết nối quang tử, làn sóng hạt nhân và các kiến trúc đặt cược vượt ra ngoài transformer — được theo dõi với nhãn trạng thái trên Watchlist.

Etched Sohu Lightmatter UALink HBM4 Rubin MI400 SMRs Danh sách theo dõi →

Cách một Data Center AI được xây dựng