Ana Sayfa › Araştırma Makaleleri › Training Compute-Optimal LLMs — Chinchilla (2022)
Training Compute-Optimal LLMs — Chinchilla (2022)
Araştırma Makalesi
Ölçekleme
DeepMind's correction: most models were undertrained on data.
Bir araştırma makalesi kaydına bakıyorsunuz: alanına önemli katkılar sunmuş bir makale ve tanıttığı yenilikler.
Hoffmann et al. showed compute-optimal training wants ~20 tokens per parameter — far more data than the field was using — so a 70B model trained right beat a 280B one. It reshaped every subsequent training run and made data supply a first-order constraint.
Bu, yığının geri kalanıyla nasıl bağlantılı?
Bu kaydın bağlantılarına hızlı bakış — bir gruba tıklayarak o bölüme atlayın.
Yazan
Temel oluşturan
İlgili
Kaynaklar
İncelenen kayıt tarihi: 2026-01-15 — görüntüle Metodoloji.