Quantization
Concepto
Entrenamiento e inferencia
Fewer bits per weight: how models shrink to fit real hardware.
Estás viendo un explicador de concepto: qué significa este término en lenguaje claro, y los registros que conecta.
Quantization stores weights and activations in fewer bits — 8, 4, even fewer — trading a sliver of accuracy for big memory and speed gains. It is why a 70B model runs on a laptop (GGUF 4-bit), and why hardware generations chase ever-lower precisions: Hopper's FP8 and Blackwell's FP4 are quantization cast in silicon.
Cómo se conecta con el resto del stack
Los enlaces de esta ficha de un vistazo: haz clic en un grupo para ir directamente a él.
Relacionado
Fuentes
Registro revisado a fecha de 2026-01-15 — ver Metodología.