Trang chủ › Các khái niệm › Quantization
Quantization
Khái niệm
Huấn luyện & Suy luận
Fewer bits per weight: how models shrink to fit real hardware.
Bạn đang xem hồ sơ giải thích khái niệm: thuật ngữ này có nghĩa là gì theo ngôn ngữ thông thường, và các hồ sơ liên quan đến nó.
Quantization stores weights and activations in fewer bits — 8, 4, even fewer — trading a sliver of accuracy for big memory and speed gains. It is why a 70B model runs on a laptop (GGUF 4-bit), and why hardware generations chase ever-lower precisions: Hopper's FP8 and Blackwell's FP4 are quantization cast in silicon.
Kết nối của mục này với phần còn lại của hệ thống
Các liên kết của hồ sơ này trong nháy mắt — nhấp vào một nhóm để chuyển đến nhóm đó.
Nguồn
Hồ sơ được xem xét tính đến 2026-01-15 — xem Phương pháp luận.