Distillation
Teaching a small model to imitate a big one.
Anda sedang melihat entri penjelas konsep: apa arti istilah ini dalam bahasa yang mudah dipahami, dan entri-entri yang dikaitkannya.
Distillation trains a compact student on a larger teacher's outputs, keeping most capability at a fraction of the serving cost — the standard way 'mini' and 'flash' tiers are made. It is also a flashpoint: training on a rival API's outputs against its terms is industrial-scale imitation, an accusation that surfaced prominently around DeepSeek's rise.
Bagaimana ini terhubung ke bagian lain dari stack
Tautan catatan ini sekilas — klik grup untuk langsung menuju ke sana.
Terkait
Sumber
Distillation paper (Hinton et al.) ↗
Rekaman ditinjau per 2026-01-15 — lihat Metodologi.