Quantization
Conceito
Treinamento & Inferência
Fewer bits per weight: how models shrink to fit real hardware.
Está a ver um explicador de conceito: o que este termo significa em linguagem acessível, e os registos que relaciona.
Quantization stores weights and activations in fewer bits — 8, 4, even fewer — trading a sliver of accuracy for big memory and speed gains. It is why a 70B model runs on a laptop (GGUF 4-bit), and why hardware generations chase ever-lower precisions: Hopper's FP8 and Blackwell's FP4 are quantization cast in silicon.
Como este elemento se liga ao resto da stack
As ligações deste registo num relance — clique num grupo para ir diretamente até ele.
Relacionados
Fontes
Registro revisado em 2026-01-15 — ver Metodologia.