Llama 3.1 405B

AIモデル言語前世代

The first open-weights model at closed-frontier scale.

これはAIモデルのレコードです。開発元・できること・背後にあるハードウェアとデータを紹介します。

Llama 3.1's 405B dense model (July 2024) was trained on 15.6 trillion tokens across ~16,000 H100s (~3.8×10²⁵ FLOP, disclosed) and matched GPT-4-class results — the moment open weights reached the frontier's neighborhood. Its disclosed training details made it the reference public datapoint for frontier training economics.

仕様・主要事実

各数値には根拠の種別を明記しています：ベンダー仕様、ベンダー主張、報道値、推定値、または公式値。「非公開」とある場合はその通りであり、当サイトが値を創作することは一切ありません。

Overview

Training compute ~3.8×10²⁵ FLOP (from disclosed GPU-hours)Published paper

Training hardware ~16,000 × H100 (two 24k clusters built)Published paper

スタック全体とのつながり

このレコードのリンク一覧 — グループをクリックするとジャンプします。

開発者

学習済みモデル

NVIDIA H100

基礎

NVIDIA Nemotron

後継製品

Llama 4

前身製品

Llama 2

競合製品

GPT-4o

出典

Llama 3.1 paper ↗

レコードのレビュー時点： 2026-01-15 — 表示調査手法.