Trang chủ › Bài báo nghiên cứu › Training Compute-Optimal LLMs — Chinchilla (2022)
Training Compute-Optimal LLMs — Chinchilla (2022)
Bài báo nghiên cứu
Mở rộng quy mô
DeepMind's correction: most models were undertrained on data.
Bạn đang xem hồ sơ bài báo nghiên cứu: một bài báo có tầm ảnh hưởng lớn và những đóng góp mà nó mang lại cho lĩnh vực.
Hoffmann et al. showed compute-optimal training wants ~20 tokens per parameter — far more data than the field was using — so a 70B model trained right beat a 280B one. It reshaped every subsequent training run and made data supply a first-order constraint.
Kết nối của mục này với phần còn lại của hệ thống
Các liên kết của hồ sơ này trong nháy mắt — nhấp vào một nhóm để chuyển đến nhóm đó.
Được viết bởi
Cơ sở cho
Liên quan
Nguồn
Hồ sơ được xem xét tính đến 2026-01-15 — xem Phương pháp luận.