Distillation
Концепция
Обучение и инференс
Teaching a small model to imitate a big one.
Перед вами запись-пояснение к понятию: что этот термин означает простыми словами и какие записи он объединяет.
Distillation trains a compact student on a larger teacher's outputs, keeping most capability at a fraction of the serving cost — the standard way 'mini' and 'flash' tiers are made. It is also a flashpoint: training on a rival API's outputs against its terms is industrial-scale imitation, an accusation that surfaced prominently around DeepSeek's rise.
Место в общей экосистеме
Ссылки этой записи с первого взгляда — нажмите на группу, чтобы перейти к ней.
Связанные
Источники
Distillation paper (Hinton et al.) ↗
Запись актуальна на 2026-01-15 — смотреть Методология.