Quantization
用较低精度的数值表示模型中的数据，以降低存储和运行时的内存需求；需要在资源节省与精度变化之间做取舍。
如何理解
以权重量化为例，模型原本用较高精度表示的参数，可以转换为更紧凑的低位宽表示。这样通常能降低加载模型所需的内存，但数值近似也会带来误差，需要尽量保留原模型的任务表现。
不同方法对校准数据、模型结构和硬件的要求不同，实际使用时还要确认运行框架是否支持。能把模型放入显存，只说明容量问题得到缓解；速度和输出质量仍需要在目标环境中检查。
容易混淆的地方
位宽更低不等于效果更好，也不等于参数数量更少。权重量化与压缩 KV Cache 处理的是不同数据，不能用一个压缩比例代替全部运行开销。