DeepSeek-V3
671B parameters, $5.6M disclosed final-run cost — the efficiency shock.
U bekijkt een AI-modelrecord: wie het heeft gebouwd, wat het kan, en de hardware en data erachter.
DeepSeek-V3 (December 2024) is a 671B-parameter MoE activating 37B per token, trained on 14.8T tokens across 2,048 H800 GPUs with a disclosed final training-run cost of about $5.576M (excluding research and prior runs — a caveat often dropped in retellings). Multi-head latent attention, FP8 training and multi-token prediction made it the most-studied efficiency result in the field; weights are open. V3.1 (August 2025) added hybrid thinking; V3.2-Exp cut long-context costs with sparse attention.
Specificaties & kernfeiten
Elk cijfer is voorzien van een bronvermelding: vendor spec, vendor claim, reported, estimate of official. "Not publicly disclosed" betekent precies dat — wij verzinnen nooit waarden.
Overview
Hoe dit aansluit op de rest van de stack
De koppelingen van dit record in één oogopslag — klik op een groep om er naartoe te springen.
Ontwikkeld door
Getraind op
Gebaseerd op
Basis voor
Opgevolgd door
Gerelateerd
Bronnen
DeepSeek-V3 technical report ↗
Record beoordeeld per 2026-08-31 — bekijk Methodologie.