Beranda › Model AI › Llama 3.1 405B

Llama 3.1 405B

Model AI Bahasa Generasi sebelumnya

The first open-weights model at closed-frontier scale.

Anda sedang melihat entri model AI: siapa yang membangunnya, apa yang dapat dilakukannya, serta perangkat keras dan data di baliknya.

Llama 3.1's 405B dense model (July 2024) was trained on 15.6 trillion tokens across ~16,000 H100s (~3.8×10²⁵ FLOP, disclosed) and matched GPT-4-class results — the moment open weights reached the frontier's neighborhood. Its disclosed training details made it the reference public datapoint for frontier training economics.

Spesifikasi & fakta utama

Setiap angka diberi label berdasarkan sumbernya: spesifikasi vendor, klaim vendor, dilaporkan, estimasi, atau resmi. "Tidak diungkapkan secara publik" berarti tepat seperti itu — kami tidak pernah mengarang nilai.

Overview

Training compute ~3.8×10²⁵ FLOP (from disclosed GPU-hours)Published paper

Training hardware ~16,000 × H100 (two 24k clusters built)Published paper

Bagaimana ini terhubung ke bagian lain dari stack

Tautan catatan ini sekilas — klik grup untuk langsung menuju ke sana.

Dikembangkan oleh

Dilatih pada

NVIDIA H100

Dasar untuk

NVIDIA Nemotron

Digantikan oleh

Llama 4

Penerus dari

Llama 2

Bersaing dengan

GPT-4o

Terkait

Open vs Closed Weights

Sumber

Llama 3.1 paper ↗

Rekaman ditinjau per 2026-01-15 — lihat Metodologi.