Inference
개념
학습 및 추론
Running the model — now the majority of AI compute and the focus of the buildout.
현재 보고 계신 것은 개념 설명 레코드입니다: 이 용어의 의미를 쉬운 말로 풀어쓰고, 연관된 레코드들을 연결합니다.
Inference is every ChatGPT answer, Copilot completion and API call — and as products scaled, it overtook training as the dominant AI workload. It splits into prefill (reading the prompt, compute-bound) and decode (generating tokens, memory-bandwidth-bound), which is why HBM decides serving economics, why engines like vLLM matter, and why hardware now specializes by phase (Rubin CPX). 'Tokens per dollar per watt' is the metric the whole industry is converging on.
전체 스택에서의 연결 구조
이 레코드의 링크를 한눈에 확인하세요 — 그룹을 클릭하면 해당 위치로 이동합니다.
관련
출처
검토 기준일 2026-01-15 — 보기 방법론.