Distillation
概念
学習・推論
Teaching a small model to imitate a big one.
これはコンセプト解説のレコードです。この用語をわかりやすく説明し、関連するレコードをまとめています。
Distillation trains a compact student on a larger teacher's outputs, keeping most capability at a fraction of the serving cost — the standard way 'mini' and 'flash' tiers are made. It is also a flashpoint: training on a rival API's outputs against its terms is industrial-scale imitation, an accusation that surfaced prominently around DeepSeek's rise.
スタック全体とのつながり
このレコードのリンク一覧 — グループをクリックするとジャンプします。
出典
Distillation paper (Hinton et al.) ↗
レコードのレビュー時点： 2026-01-15 — 表示 調査手法.