How an AI Data Center Is Built — Every Component, Every Maker

‹ 뒤로

이 페이지를 처음부터 끝까지 읽으면 실제 조달 체인을 따라간 것입니다: 실리콘 → 보드 → 랙 → 케이블 → 냉각 → 전력 → 소프트웨어 → 모델. 같은 경로는 어떤 가속기에도 적용됩니다 — 첫 단계만 바꾸면 나머지 체인은 거의 그대로입니다.

1 GPU 자체가 하나의 공급망입니다

"NVIDIA GPU"는 실제로 5개국의 부품을 묶은 패키지입니다. NVIDIA가 설계와 소프트웨어를 담당하고, 물리적 구성 요소의 거의 전부는 다른 업체들이 제조합니다.

로직 다이(연산부) TSMC 4NP process ASML만이 제작할 수 있는 장비로 대만에서 제조 — ASML EUV TSMC가 유일한 선택지인가요? 최첨단 공정에서는 사실상 그렇습니다 — 현재 모든 주요 AI 칩이 그곳에서 생산됩니다. 뒤를 쫓는 두 가지 대안: Samsung Foundry · Intel Foundry

메모리 (HBM 스택) SK hynix Micron Samsung B200당 8개 스택; 약 1년 앞서 완판 — HBM3E

패키징 (다이 + 메모리 결합) TSMC CoWoS Amkor ASE 2023~24년 전 세계 GPU 공급을 제한했던 단계

보드 조립 Foxconn Quanta SXM 모듈과 슈퍼칩 보드는 NVIDIA가 아닌 대만 제조업체가 생산합니다

보드 상의 전력 공급 Monolithic Power Infineon Delta 다이당 1,000암페어 이상으로 랙 전압을 ~1V로 낮추는 과정

네트워크 인터페이스 NVIDIA BlueField / ConnectX GPU당 400–800G NIC 1개가 표준 구성

전체 사양서: B200 · GB200 · 또는 해당 레코드 페이지에서 칩의 공급망을 직접 추적하세요.

2 서버와 랙

GPU는 엔지니어링된 시스템 내부에 탑재된다. Blackwell 규모에서는 랙 자체가 제품이다: 컴퓨트 트레이 18개, 스위치 트레이 9개, 구리 스파인 1개.

랙 스케일 시스템 GB200 NVL72 HGX baseboards 랙당 ~120kW — 옷장 크기에 가정 100채 분량의 전력 소비

개발사 Foxconn Quanta Wiwynn 하이퍼스케일러용 ODM…

…그리고 누가 브랜딩하는가 Supermicro Dell HPE Lenovo 서비스 계약이 포함된 기업용 채널

커넥터 및 리타이머 Amphenol TE Connectivity Astera Labs 랙당 수천 개의 고속 접점; 리타이머가 섀시 전반에 걸쳐 PCIe 신호를 유지합니다

3 케이블링

모두가 잊고 묻지 않는 질문. 세 가지 종류의 배선, 세 가지 공급업체 생태계 — 클러스터 규모에서 케이블링 비용은 수억 달러에 달합니다.

랙 내부: 구리 배선 Amphenol TE Connectivity Credo DAC 및 액티브 전기 케이블; NVL72의 NVLink 스파인 하나에만 약 5,000개의 구리 케이블이 사용됩니다 — 랙당 3km 이상의 케이블 길이

랙 간 연결: 광섬유 800G optics Coherent Lumentum Fabrinet 클러스터당 수십만 개의 착탈식 트랜시버; 포토닉스 업체의 레이저 모듈, 조립은 주로 태국에서 진행

유리 자체 Corning 캠퍼스 광섬유 총연장은 현재 수백만 킬로미터에 달한다

모든 것이 연결되는 스위치 NVIDIA InfiniBand Spectrum-X Arista Broadcom silicon InfiniBand 대 이더넷 선택은 GPU 다음으로 가장 중요한 아키텍처 결정입니다

학습: GPU 10만 개가 하나의 컴퓨터가 되는 방법 →

4 냉각 — 그리고 냉각이 판도를 결정하는 이유

랙당 120kW에서는 공랭식의 시대가 끝납니다. 모든 칩에 액체가 직접 닿으며, 캠퍼스가 열을 어떻게 방출하느냐에 따라 구축 가능한 입지가 결정됩니다.

칩 위: 콜드 플레이트 Direct-to-chip CoolIT Boyd 모든 GPU, CPU, 스위치 ASIC에 볼트로 고정된 구리 마이크로채널 플레이트

로우 내부: CDU Coolant distribution units Vertiv Schneider (Motivair) Delta 2MW급 펌프-열교환기 스키드 — 2022년에는 거의 존재하지 않던 제품 카테고리

열 배출 Rear-door HX Immersion Munters 외부 설치형 드라이 쿨러·냉각탑·칠러; 밀폐 루프는 초기 충수 후 거의 물을 소비하지 않음

입지 선정 신호: 냉각 문제 때문에 데이터 센터는 역사적으로 강이나 호수 인근에 자리 잡았다(증발식 냉각 설계). 반면 최신 밀폐형 냉각 시스템은 건조한 지역의 저렴한 전력을 활용할 수 있다. 부지 조사 담당자들은 수리권, 고압 송전 회랑, 광섬유 경로, 서늘한 기후 등 바로 이런 단서들을 지도에서 읽어내 캠퍼스 후보지를 파악한다. 학습: 데이터 센터는 어디에, 왜 세워지는가 →

5 전력실

전력망과 랙 사이에는 수년의 조달 기간이 필요한 장비로 가득 찬 건물이 있으며, 이것이 대개 진짜 핵심 병목입니다.

트랜스포머 및 계통 연계 Hitachi Energy Siemens Energy Interconnection 3~5년의 리드 타임으로 업계에서 가장 희소한 장비가 된 제품들

스위치기어, UPS, 버스웨이 Eaton Schneider ABB Vertiv 전력 중추; 차세대 랙은 800볼트 DC 배전 방식으로 나아가고 있습니다

백업 및 브리지 전력 Cummins Caterpillar Gas turbines Bloom fuel cells 정전 대비 발전기 세트; 계통 연계 대기 기간이 너무 긴 경우 터빈 발전소 전체 도입

메가와트 자체 전력 프로젝트 원전 재가동 태양광 + 저장장치 캠퍼스에 전력을 공급하는 계약 — Power 섹션에서 확인

직접 계산해 보세요: 클러스터 전력 계산기 →

6 설치하는 소프트웨어

랙은 금속 상태로 들어옵니다. 다음은 설치 순서에 따른 스택이며 — 맞습니다, Linux에서 시작합니다.

운영 체제 Linux 지구상의 거의 모든 AI 서버가 실행 중 — Ubuntu, RHEL, 또는 하이퍼스케일러의 자체 빌드

드라이버 및 컴퓨트 플랫폼 CUDA ROCm (AMD) XLA (TPU) 실리콘을 프로그래밍 가능하게 만드는 레이어 — 업계에서 가장 깊은 해자

클러스터 배관 NCCL Kubernetes Slurm Ray GPU 동기화를 위한 집합 통신, 자원 공유를 위한 스케줄러

학습 프레임워크 PyTorch JAX Megatron DeepSpeed 모델 코드가 실제로 위치하는 곳

다음: 모델 설치 하나 학습하기 또는 오픈 웨이트 다운로드 vLLM TensorRT-LLM 서빙 엔진은 가중치를 초당 토큰으로 변환합니다 — 건물 전체가 존재하는 이유

학습: 프런티어 모델은 어떻게 훈련되는가 → · Enter 키를 누르면 일어나는 일 →

거대 기업들의 내부: 같은 문제, 여섯 가지 해법

위의 모든 업체가 아래의 모든 업체에 납품합니다 — 그러나 대형 빌더들은 각자 다른 방식으로 스택을 통합합니다. 이것은 나머지 데이터베이스와 동일한 레코드를 기반으로 구성된 실제 설정입니다.

The vertical integrator

Google

The only player integrated from self-designed silicon to frontier model — no NVIDIA required anywhere in Gemini's path.

컴퓨트 TPU v7 Ironwood Trillium Its own TPUs — Ironwood for the inference era, Trillium in volume — plus NVIDIA GPUs rented out to Cloud customers.

패브릭 TPU pods Optics 3D-torus inter-chip links reconfigured by in-house optical circuit switches; the Jupiter network carries the data center.

랙 및 시스템 TPU pods Self-designed: the 9,216-chip pod, not the server, is the unit of hardware.

냉각 Direct-to-chip Direct liquid cooling on TPU pods since 2018 — the earliest big liquid fleet.

전력 Kairos fleet Nuclear A giant renewables book, the first corporate SMR fleet order, and restart interest.

소프트웨어 JAX XLA Linux + Borg orchestration underneath; JAX and XLA compile straight to TPU.

모델 및 사이트 Gemini 3 Council Bluffs Gemini 3 trained and served on TPUs end to end.

The alliance at NVIDIA scale

Microsoft + OpenAI

The biggest NVIDIA buyer builds 'AI factories' for its partner's models — with its own silicon waiting in the wings.

컴퓨트 GB200 H100 Maia 100 Frontier NVIDIA fleets — GB200 today atop huge H100 estates — with in-house Maia 100 in supporting roles.

패브릭 InfiniBand The world's largest InfiniBand deployments, flat networks spanning whole sites.

랙 및 시스템 GB200 NVL72 Foxconn Quanta ODM-built NVL72 racks and HGX servers from the Taiwanese manufacturers.

냉각 Fairwater Direct-to-chip Closed-loop direct liquid at Fairwater — fill once, near-zero water after.

전력 Crane restart Constellation The Three Mile Island restart PPA (835 MW, 20 years) plus a 10.5 GW renewables framework.

소프트웨어 DeepSpeed ONNX Runtime Linux + Azure's stack; DeepSpeed for training scale; ONNX for deployment.

모델 및 사이트 GPT-5 Fairwater Stargate GPT-5 trains and serves on this estate; Stargate adds OpenAI's own campuses.

The open-everything builder

xAI

The existence proof that a frontier cluster can be improvised in months — factory shell, gas turbines, batteries and all.

컴퓨트 H100 H200 ~100,000 H100s in 122 days, doubled since; GB200-class capacity at Colossus 2.

패브릭 Spectrum-X The flagship Spectrum-X Ethernet deployment — NVIDIA networking without InfiniBand.

랙 및 시스템 Supermicro Dell Supermicro and Dell liquid-cooled systems, delivered at sprint pace.

냉각 Direct-to-chip Direct liquid throughout — the density made air a non-starter on day one.

전력 Gas turbines Colossus On-site gas turbines bridging the grid queue, Tesla Megapacks smoothing training spikes.

소프트웨어 CUDA A lean in-house training stack on Linux and CUDA — small team, big machine.

모델 및 사이트 Grok 4 Colossus Grok 3 and 4 trained at Colossus; Grok ships inside X.

The custom-silicon bet

AWS + Anthropic

The clearest test of whether a hyperscaler's own chips can carry a frontier lab — half a million Trainiums and counting.

컴퓨트 Trainium2 UltraServer Trainium2 UltraServers at Project Rainier scale, beside NVIDIA fleets for customers.

패브릭 UltraServer NeuronLink inside the UltraServer; AWS's own EFA networking and Nitro offload beyond it.

랙 및 시스템 Annapurna/AWS Annapurna-designed, self-integrated — the cloud primitive as the building block.

냉각 Direct-to-chip Liquid-and-air mix tuned per hall across the Rainier sites.

전력 Susquehanna X-energy Nuclear at Susquehanna, X-energy SMR backing, and the largest corporate renewables book.

소프트웨어 PyTorch vLLM The Neuron SDK is the whole ballgame — porting the open stack to its own silicon.

모델 및 사이트 Claude 4.5 Project Rainier Claude trains at New Carlisle — and, uniquely, also runs on TPUs and GPUs elsewhere.

The embodied-AI factory

Tesla

Trains on video from millions of cars, ships the result back to them — with its own batteries steadying its own cluster.

컴퓨트 H100 Cortex The ~50,000-GPU Cortex cluster at Giga Texas; Dojo wound down for AI5/AI6 chips.

패브릭 800G optics Ethernet-fabric clusters sized for video-scale data ingest.

랙 및 시스템 Supermicro Supermicro and Dell systems, plus purpose-built data-hall extensions of the factory.

냉각 Direct-to-chip A dedicated liquid-cooling plant built alongside the cluster.

전력 Gas turbines Grid supply buffered by its own Megapacks — the manufacturer as its own customer.

소프트웨어 PyTorch Vision-only training pipeline on PyTorch; models compile down to the car's FSD computer.

모델 및 사이트 Tesla FSD Samsung FSD v13+ ships over the air; AI5/AI6 silicon comes from Samsung and TSMC.

다음 주자는 누구인가

전체 관심 목록 →

경쟁 실리콘, 2026–27년 플랫폼 세대, 포토닉 인터커넥트, 원자력 파동, 트랜스포머 이후의 아키텍처 베팅 — 워치리스트에서 상태 레이블로 추적 중.

Etched Sohu Lightmatter UALink HBM4 Rubin MI400 SMRs 관심 목록 →

AI 데이터 센터의 구축 방법