Mixture of Experts (MoE)
개념
핵심 기술
Huge capacity, small bills: only a few experts fire per token.
현재 보고 계신 것은 개념 설명 레코드입니다: 이 용어의 의미를 쉬운 말로 풀어쓰고, 연관된 레코드들을 연결합니다.
An MoE model holds many expert sub-networks but routes each token through only a few — DeepSeek-V3 stores 671B parameters yet computes with 37B per token. That decouples capacity from cost and is how open labs reached frontier scale on constrained hardware. The trade: all those parameters still occupy memory, which pushes HBM demand even higher — an architecture choice you can read directly in the memory market.
전체 스택에서의 연결 구조
이 레코드의 링크를 한눈에 확인하세요 — 그룹을 클릭하면 해당 위치로 이동합니다.
출처
검토 기준일 2026-01-15 — 보기 방법론.