Mixture of Experts (MoE)
Concetto
Tecnico di base
Huge capacity, small bills: only a few experts fire per token.
Stai visualizzando una scheda concettuale: cosa significa questo termine in linguaggio chiaro, e i record che mette in relazione.
An MoE model holds many expert sub-networks but routes each token through only a few — DeepSeek-V3 stores 671B parameters yet computes with 37B per token. That decouples capacity from cost and is how open labs reached frontier scale on constrained hardware. The trade: all those parameters still occupy memory, which pushes HBM demand even higher — an architecture choice you can read directly in the memory market.
Come si collega al resto dello stack
I collegamenti di questa scheda a colpo d'occhio — clicca un gruppo per raggiungerlo.
Base per
Fonti
Record revisionato al 2026-01-15 — vedi Metodologia.