Mixture of Experts (MoE)
Concept
Technique de base
Huge capacity, small bills: only a few experts fire per token.
Vous consultez une fiche concept : ce que ce terme signifie en langage clair, et les fiches qu'il relie.
An MoE model holds many expert sub-networks but routes each token through only a few — DeepSeek-V3 stores 671B parameters yet computes with 37B per token. That decouples capacity from cost and is how open labs reached frontier scale on constrained hardware. The trade: all those parameters still occupy memory, which pushes HBM demand even higher — an architecture choice you can read directly in the memory market.
Comment cela s'articule avec le reste de la chaîne
Les liens de cette fiche en un coup d'œil — cliquez sur un groupe pour y accéder directement.
Base pour
Sources
Fiche examinée au 2026-01-15 — voir Méthodologie.