Inference
Running the model — now the majority of AI compute and the focus of the buildout.
Bir kavram açıklayıcısına bakıyorsunuz: bu terimin sade bir dilde ne anlama geldiği ve bir araya getirdiği kayıtlar.
Inference is every ChatGPT answer, Copilot completion and API call — and as products scaled, it overtook training as the dominant AI workload. It splits into prefill (reading the prompt, compute-bound) and decode (generating tokens, memory-bandwidth-bound), which is why HBM decides serving economics, why engines like vLLM matter, and why hardware now specializes by phase (Rubin CPX). 'Tokens per dollar per watt' is the metric the whole industry is converging on.
Bu, yığının geri kalanıyla nasıl bağlantılı?
Bu kaydın bağlantılarına hızlı bakış — bir gruba tıklayarak o bölüme atlayın.
İlgili
Kaynaklar
İncelenen kayıt tarihi: 2026-01-15 — görüntüle Metodoloji.