Inference
概念
学習・推論
Running the model — now the majority of AI compute and the focus of the buildout.
これはコンセプト解説のレコードです。この用語をわかりやすく説明し、関連するレコードをまとめています。
Inference is every ChatGPT answer, Copilot completion and API call — and as products scaled, it overtook training as the dominant AI workload. It splits into prefill (reading the prompt, compute-bound) and decode (generating tokens, memory-bandwidth-bound), which is why HBM decides serving economics, why engines like vLLM matter, and why hardware now specializes by phase (Rubin CPX). 'Tokens per dollar per watt' is the metric the whole industry is converging on.
スタック全体とのつながり
このレコードのリンク一覧 — グループをクリックするとジャンプします。
関連
出典
レコードのレビュー時点： 2026-01-15 — 表示 調査手法.