Llama 3.1 405B

AI-модель Язык Предыдущее поколение

The first open-weights model at closed-frontier scale.

Перед вами запись об AI-модели: кто её создал, на что она способна, какое оборудование и данные за ней стоят.

Llama 3.1's 405B dense model (July 2024) was trained on 15.6 trillion tokens across ~16,000 H100s (~3.8×10²⁵ FLOP, disclosed) and matched GPT-4-class results — the moment open weights reached the frontier's neighborhood. Its disclosed training details made it the reference public datapoint for frontier training economics.

Характеристики и ключевые факты

Каждый показатель подписан по основанию: спецификация вендора, заявление вендора, из отчётности, оценка или официальные данные. «Не раскрыто публично» означает именно это — мы никогда не придумываем значения.

Overview

Training compute ~3.8×10²⁵ FLOP (from disclosed GPU-hours)Published paper

Training hardware ~16,000 × H100 (two 24k clusters built)Published paper

Место в общей экосистеме

Ссылки этой записи с первого взгляда — нажмите на группу, чтобы перейти к ней.

Разработан

Обучена на

NVIDIA H100

Основа для

NVIDIA Nemotron

Заменён на

Llama 4

Преемник

Llama 2

Конкурирует с

GPT-4o

Связанные

Open vs Closed Weights

Источники

Llama 3.1 paper ↗

Запись актуальна на 2026-01-15 — смотреть Методология.