Distillation
Concept
Training & inferentie
Teaching a small model to imitate a big one.
U bekijkt een conceptverklaring: wat deze term in begrijpelijk Nederlands betekent, en de records die hij samenbrengt.
Distillation trains a compact student on a larger teacher's outputs, keeping most capability at a fraction of the serving cost — the standard way 'mini' and 'flash' tiers are made. It is also a flashpoint: training on a rival API's outputs against its terms is industrial-scale imitation, an accusation that surfaced prominently around DeepSeek's rise.
Hoe dit aansluit op de rest van de stack
De koppelingen van dit record in één oogopslag — klik op een groep om er naartoe te springen.
Gerelateerd
Bronnen
Distillation paper (Hinton et al.) ↗
Record beoordeeld per 2026-01-15 — bekijk Methodologie.