Beranda › Konsep-Konsep › Quantization
Quantization
Konsep
Pelatihan & Inferensi
Fewer bits per weight: how models shrink to fit real hardware.
Anda sedang melihat entri penjelas konsep: apa arti istilah ini dalam bahasa yang mudah dipahami, dan entri-entri yang dikaitkannya.
Quantization stores weights and activations in fewer bits — 8, 4, even fewer — trading a sliver of accuracy for big memory and speed gains. It is why a 70B model runs on a laptop (GGUF 4-bit), and why hardware generations chase ever-lower precisions: Hopper's FP8 and Blackwell's FP4 are quantization cast in silicon.
Bagaimana ini terhubung ke bagian lain dari stack
Tautan catatan ini sekilas — klik grup untuk langsung menuju ke sana.
Sumber
Rekaman ditinjau per 2026-01-15 — lihat Metodologi.