Quantization
Концепция
Обучение и инференс
Fewer bits per weight: how models shrink to fit real hardware.
Перед вами запись-пояснение к понятию: что этот термин означает простыми словами и какие записи он объединяет.
Quantization stores weights and activations in fewer bits — 8, 4, even fewer — trading a sliver of accuracy for big memory and speed gains. It is why a 70B model runs on a laptop (GGUF 4-bit), and why hardware generations chase ever-lower precisions: Hopper's FP8 and Blackwell's FP4 are quantization cast in silicon.
Место в общей экосистеме
Ссылки этой записи с первого взгляда — нажмите на группу, чтобы перейти к ней.
Источники
Запись актуальна на 2026-01-15 — смотреть Методология.