Quantization
Concept
Entraînement et inférence
Fewer bits per weight: how models shrink to fit real hardware.
Vous consultez une fiche concept : ce que ce terme signifie en langage clair, et les fiches qu'il relie.
Quantization stores weights and activations in fewer bits — 8, 4, even fewer — trading a sliver of accuracy for big memory and speed gains. It is why a 70B model runs on a laptop (GGUF 4-bit), and why hardware generations chase ever-lower precisions: Hopper's FP8 and Blackwell's FP4 are quantization cast in silicon.
Comment cela s'articule avec le reste de la chaîne
Les liens de cette fiche en un coup d'œil — cliquez sur un groupe pour y accéder directement.
Sources
Fiche examinée au 2026-01-15 — voir Méthodologie.