Distillation
Teaching a small model to imitate a big one.
Vous consultez une fiche concept : ce que ce terme signifie en langage clair, et les fiches qu'il relie.
Distillation trains a compact student on a larger teacher's outputs, keeping most capability at a fraction of the serving cost — the standard way 'mini' and 'flash' tiers are made. It is also a flashpoint: training on a rival API's outputs against its terms is industrial-scale imitation, an accusation that surfaced prominently around DeepSeek's rise.
Comment cela s'articule avec le reste de la chaîne
Les liens de cette fiche en un coup d'œil — cliquez sur un groupe pour y accéder directement.
Connexes
Sources
Distillation paper (Hinton et al.) ↗
Fiche examinée au 2026-01-15 — voir Méthodologie.