1. 模型量化策略到底在解决什么问题

模型量化策略这个词，这两年在部署圈里出现的频率越来越高。但凡你做过一次模型上线，大概率都会碰到这个场景：训练好的模型在服务器上跑得好好的，一搬到边缘设备或者移动端，推理速度直接掉到没法用，显存占用也压不下来。这时候量化就是最直接的救命稻草。

说白了，模型量化策略就是一套把模型参数和计算从高精度浮点（比如FP32）压缩到低精度表示（比如INT8、FP16）的方法论。它的核心目标有三个：减小模型体积、降低内存带宽压力、加速推理计算。这三个目标不是独立的，而是互相咬合的。模型体积小了，加载和传输就快；内存带宽压力低了，GPU或NPU的利用率就上去了；计算精度降了，矩阵乘法的吞吐量就能翻倍甚至翻几倍。

但量化不是免费的午餐。你每降低一次精度，模型的表达能力就损失一分。量化策略要做的，就是在精度损失和性能收益之间找到那个最优平衡点。这个平衡点怎么找，就是PTQ和QAT这两条路线要回答的问题。

适合看这篇内容的人，我大致分三类：第一类是刚接触模型部署的算法工程师，想把训练好的模型塞进资源受限的环境里；第二类是做推理框架或者编译器的同学，需要理解量化对计算图的影响；第三类是对模型压缩感兴趣的学生或者研究者，想搞清楚工业界实际在用的量化方案长什么样。不管你是哪一类，下面这些内容都是从实际项目里摔打出来的，不是教科书上的理论推导。

2. 量化策略的整体设计与路线选型

2.1 PTQ和QAT的本质区别

PTQ，Post-Training Quantization，训练后量化。顾名思义，模型训练完了，拿过来直接量化，不需要重新训练或者微调。它的优势非常明显：零训练成本、流程简单、落地快。你只需要准备一批校准数据（通常几百到几千条就够了），跑一遍前向传播，统计每一层的激活值分布，然后根据分布确定量化参数（scale和zero_point）。整个过程可能就几分钟到几十分钟。

QAT，Quantization-Aware Training，量化感知训练。它在训练阶段就模拟量化的效果，让模型在训练过程中“感知”到量化带来的精度损失，从而调整权重去补偿。QAT的精度通常比PTQ高不少，尤其是对于小模型或者对精度敏感的任务。但代价也很直接：你需要重新训练模型，需要标注数据，需要调超参，训练周期可能从几小时到几天不等。

我个人的经验是，大模型（参数量在亿级以上）优先试PTQ，小模型或者精度要求极高的场景直接上QAT。为什么？大模型参数冗余度高，对量化的鲁棒性天然就好，PTQ往往就能拿到不错的结果。小模型本身容量就紧张，量化带来的信息损失很难通过校准数据弥补，必须让训练过程参与进来。

2.2 量化粒度的选择逻辑

量化粒度决定了scale和zero_point的共享范围。粒度越细，量化精度越高，但计算和存储开销也越大。常见的粒度有三种：

• Per-Tensor（逐张量）：整个张量共享一组量化参数。最粗的粒度，硬件实现最简单，但精度损失最大。
• Per-Channel（逐通道）：每个输出通道有自己的量化参数。卷积层和线性层常用这种粒度，精度明显优于Per-Tensor，硬件支持也比较好。
• Per-Group（逐组）：把通道分成若干组，每组共享一组参数。这是Per-Channel和Per-Tensor的折中，在Group Convolution或者分组量化场景下比较常见。

实际选型的时候，我一般遵循这个原则：权重用Per-Channel，激活用Per-Tensor。权重的分布在不同通道之间差异很大，Per-Channel能有效降低量化误差；激活的分布相对集中，Per-Tensor的精度损失可以接受，而且硬件实现更高效。当然，如果硬件支持Per-Channel激活量化，那精度还能再提一截。

2.3 对称量化和非对称量化的取舍

对称量化把浮点范围映射到以零为中心的对称区间，比如INT8的[-127, 127]。非对称量化则允许零点偏移，映射到[0, 255]这样的非对称区间。

对称量化的优势是计算简单，零点固定为0，推理时不需要额外的零点偏移计算。非对称量化能更好地处理ReLU这类非负激活，精度通常更高。但非对称量化在硬件实现上会引入额外的减法操作，对某些加速器不太友好。

我的建议是：权重用对称量化，激活用非对称量化。权重通常围绕零分布，对称量化足够；激活经过ReLU之后全是非负的，非对称量化能更充分地利用量化区间。

3. 核心细节解析与实操要点

3.1 校准数据的准备与使用

PTQ的精度高度依赖校准数据的质量。校准数据不是越多越好，关键是分布要覆盖实际推理时的输入分布。我见过有人拿训练集的子集做校准，结果上线后精度崩了，因为训练集和线上数据的分布有偏移。

校准数据量一般控制在100到1000条之间。太少，统计不充分；太多，校准时间线性增长，收益递减。校准数据的预处理要和推理时完全一致，包括归一化、resize、通道顺序这些细节，一个都不能错。

注意：校准数据不要用训练时做数据增强的那一套，要用原始的、未经增强的数据。增强会改变数据分布，导致量化参数偏离实际推理场景。

3.2 敏感层分析与混合精度量化

不是所有层对量化的敏感度都一样。第一层和最后一层通常最敏感，因为第一层直接处理输入数据，最后一层直接决定输出结果。中间层相对鲁棒。

混合精度量化就是给敏感层保留高精度（比如FP16），其他层用INT8。这样能在精度和性能之间取得更好的平衡。具体哪些层需要保留高精度，可以通过敏感度分析来确定：逐层量化，观察精度下降幅度，下降大的层就保留高精度。

实际操作中，我一般会先跑一遍全INT8的PTQ，看精度下降多少。如果下降在可接受范围内（比如1%以内），就不折腾了。如果下降明显，再逐层分析，找出敏感层，做混合精度。

3.3 量化参数的计算过程

以非对称量化为例，给定一个浮点张量，量化参数的计算步骤如下：

1. 统计张量的最小值min_val和最大值max_val。
2. 计算量化范围：range = max_val - min_val。
3. 计算scale：scale = range / (q_max - q_min)，其中q_max和q_min是量化后的最大最小值，比如INT8的255和0。
4. 计算zero_point：zero_point = q_min - min_val / scale。
5. 量化：q = round(x / scale + zero_point)。
6. 反量化：x' = (q - zero_point) * scale。

这里有个细节：zero_point需要取整，并且要截断到量化范围内。取整会引入误差，但这是不可避免的。实际实现中，很多框架会用round而不是floor，因为round的统计偏差更小。

3.4 量化误差的累积与控制

量化误差会在层与层之间累积。一层的小误差传到下一层，可能被放大。控制误差累积有几个手段：

• 使用更高的量化粒度：Per-Channel比Per-Tensor的误差小。
• 对残差连接做特殊处理：残差连接的两条分支量化误差可能不一致，相加后会放大。有些框架会对残差连接做单独的量化参数校准。
• 限制量化范围：用百分位数（比如99.9%）代替最大最小值，避免极端值拉大量化范围，导致大部分值被压缩到很小的区间。

实操心得：校准的时候，用torch.quantile或者numpy.percentile统计99.9%分位数，比直接用max的效果通常好一截。极端值在推理时出现的概率很低，但会把量化范围拉得很大，得不偿失。

4. 实操过程与核心环节实现

4.1 PyTorch PTQ完整流程

下面以PyTorch的FX Graph Mode Quantization为例，走一遍完整的PTQ流程。这个流程适用于CNN和Transformer类模型，覆盖了大部分实际场景。

第一步，准备模型和校准数据。模型必须是eval模式，校准数据用DataLoader包装好。

import torch from torch.quantization import get_default_qconfig from torch.quantization.quantize_fx import prepare_fx, convert_fx model.eval() qconfig = get_default_qconfig('fbgemm') # 服务器端用fbgemm，移动端用qnnpack

第二步，准备量化配置。fbgemm是Facebook开发的服务器端后端，支持INT8的Per-Channel权重量化。移动端用qnnpack，对ARM架构优化更好。

example_inputs = (torch.randn(1, 3, 224, 224),) prepared_model = prepare_fx(model, {'': qconfig}, example_inputs)

第三步，跑校准数据。这一步会统计每一层的激活值分布，计算量化参数。

def calibrate(model, data_loader): model.eval() with torch.no_grad(): for inputs, _ in data_loader: model(inputs) calibrate(prepared_model, calib_loader)

第四步，转换为量化模型。

quantized_model = convert_fx(prepared_model)

第五步，验证精度。用测试集跑一遍，对比量化前后的精度差异。

def evaluate(model, test_loader): model.eval() correct = 0 total = 0 with torch.no_grad(): for inputs, labels in test_loader: outputs = model(inputs) _, predicted = torch.max(outputs, 1) total += labels.size(0) correct += (predicted == labels).sum().item() return correct / total print(f"量化前精度: {evaluate(model, test_loader):.4f}") print(f"量化后精度: {evaluate(quantized_model, test_loader):.4f}")

4.2 ONNX INT8量化实操

ONNX Runtime的量化工具链也很成熟，适合跨平台部署。核心API是quantize_static和quantize_dynamic。

静态量化需要校准数据，动态量化不需要。动态量化只量化权重，激活在推理时动态计算量化参数，精度通常比静态量化差，但胜在简单。

from onnxruntime.quantization import quantize_static, quantize_dynamic, CalibrationDataReader class DataReader(CalibrationDataReader): def __init__(self, calib_data): self.data = calib_data self.iter = iter(self.data) def get_next(self): try: return next(self.iter) except StopIteration: return None quantize_static( model_input='model.onnx', model_output='model_int8.onnx', calibration_data_reader=DataReader(calib_data), quant_format='QDQ', # QDQ格式兼容性更好 per_channel=True, activation_type='QUInt8', weight_type='QInt8' )

QDQ格式会在计算图中插入QuantizeLinear和DequantizeLinear节点，兼容性比QOperator格式好，但推理时会有额外的转换开销。QOperator格式把量化算子融合进计算图，推理效率更高，但兼容性差一些。

4.3 QAT的实操要点

QAT的核心是在训练时插入伪量化节点（FakeQuantize），模拟量化的舍入和截断效果。PyTorch的QAT流程如下：

from torch.quantization import get_default_qat_qconfig from torch.quantization.quantize_fx import prepare_qat_fx, convert_fx model.train() qconfig = get_default_qat_qconfig('fbgemm') prepared_model = prepare_qat_fx(model, {'': qconfig}, example_inputs) # 正常训练几个epoch，学习率调小 optimizer = torch.optim.SGD(prepared_model.parameters(), lr=1e-4) for epoch in range(num_epochs): for inputs, labels in train_loader: optimizer.zero_grad() outputs = prepared_model(inputs) loss = criterion(outputs, labels) loss.backward() optimizer.step() # 转换为量化模型 prepared_model.eval() quantized_model = convert_fx(prepared_model)

QAT有几个关键点：学习率要小，因为模型已经收敛了，只需要微调；训练轮数不用多，通常3到5个epoch就够了；伪量化节点的位置要正确，卷积、线性、激活后面都要插。

注意：QAT训练时要用和推理时一致的量化配置，否则训练出来的模型和实际部署的量化行为不一致，精度会打折扣。

4.4 FP16和BF16的量化策略

FP16和BF16严格来说不算量化，它们是低精度浮点格式。FP16有10位尾数，BF16只有7位尾数，但BF16的指数范围和FP32一样，动态范围更大。

FP16适合GPU推理，Tensor Core对FP16有专门优化，吞吐量是FP32的2到8倍。BF16适合训练和推理混合场景，动态范围大，不容易溢出，但精度比FP16低。

转换到FP16通常不需要校准，直接model.half()就行。但要注意，有些算子对FP16支持不好，比如某些归一化层和损失函数，需要保留FP32。

model_fp16 = model.half() # 对不支持FP16的层保留FP32 for name, module in model_fp16.named_modules(): if isinstance(module, torch.nn.LayerNorm): module.float()

BF16的转换类似，PyTorch用model.bfloat16()。但BF16需要硬件支持，不是所有GPU都行。

5. 常见问题与排查技巧实录

5.1 量化后精度暴跌怎么排查

精度暴跌是最常见的问题。排查思路按这个顺序走：

第一，检查校准数据。校准数据的分布和实际推理数据是否一致？预处理是否对齐？校准数据量是否足够？我遇到过有人用归一化到[-1, 1]的数据做校准，但推理时输入是[0, 255]的原始像素，量化参数完全错了。

第二，检查敏感层。逐层量化，找出精度下降最大的层。通常第一层、最后一层、以及通道数很少的层比较敏感。

第三，检查量化粒度。Per-Tensor换成Per-Channel试试，精度通常能提升一截。

第四，检查量化范围。用百分位数代替最大最小值，避免极端值拉大量化范围。

第五，如果以上都不行，上QAT。

5.2 量化模型推理速度反而变慢

量化理论上应该加速，但实际可能变慢。原因通常有几个：

• 硬件不支持INT8加速：有些老GPU或者CPU没有INT8指令集，量化后反而多了转换开销。
• 算子融合失败：量化后计算图没有正确融合，多了很多Quantize/Dequantize节点。
• 内存带宽瓶颈：如果模型本身是内存带宽瓶颈，量化减少的带宽可能被额外的转换操作抵消。
• Batch Size太小：小batch下，量化带来的计算加速不明显，但转换开销固定。

排查方法：用profiler看每个算子的耗时，找出瓶颈在哪。如果是转换开销大，检查量化格式和算子融合配置。

5.3 常见问题速查表

5.4 独家避坑技巧

技巧一：校准数据要包含难样本。校准数据不是随机采样就行，要包含那些模型容易出错的样本。这些样本的激活分布更极端，能帮助量化参数更好地覆盖实际推理场景。

技巧二：先量化，再微调。PTQ之后如果精度不达标，不要急着上QAT。先试试用少量数据做几轮微调，有时候就能把精度拉回来。微调的成本比QAT低得多。

技巧三：量化感知训练时冻结BN层。BN层的统计量在QAT过程中会变化，导致量化参数不稳定。冻结BN层，用训练好的统计量，精度更稳。

技巧四：用ONNX Runtime的量化调试工具。ONNX Runtime提供了quantize_static的调试模式，可以输出每一层的量化误差。找到误差最大的层，针对性处理。

技巧五：INT8不是终点。有些场景下，INT4甚至INT2的量化也能用，尤其是大语言模型。但INT4的精度损失更大，需要更精细的量化策略，比如GPTQ、AWQ这些专门为大模型设计的量化方法。

6. 量化策略的扩展与组合

6.1 量化与剪枝、蒸馏的组合

量化不是孤立的。实际项目中，量化经常和剪枝、知识蒸馏组合使用。剪枝去掉冗余权重，量化降低剩余权重的精度，蒸馏用大模型指导小模型训练。三者组合，模型压缩效果能提升一个数量级。

组合的顺序一般是：先剪枝，再蒸馏，最后量化。剪枝改变模型结构，蒸馏恢复精度，量化做最终压缩。如果先量化再剪枝，剪枝后的模型结构变化会导致量化参数失效，需要重新校准。

6.2 大模型的量化策略

大语言模型的量化和小模型完全不同。LLM的参数量大，激活值分布动态范围广，传统的PTQ方法效果很差。现在主流的LLM量化方法有：

• GPTQ：基于二阶信息的逐层量化，精度损失小，但量化时间长。
• AWQ：激活感知的权重量化，保护重要通道，推理速度快。
• SmoothQuant：把激活的量化难度转移到权重上，平衡两者的量化误差。
• GGUF：llama.cpp用的量化格式，支持多种精度混合，适合CPU推理。

这些方法的共同思路是：不是所有参数都同等重要，保护重要参数，牺牲次要参数。具体实现细节这里不展开，但核心思想是一致的。

6.3 量化策略的自动化搜索

手动调量化参数很费时间。现在有一些自动化工具，比如TensorRT的量化工具包、NNCF、以及一些开源的量化搜索框架。它们能自动搜索最优的量化配置，包括粒度、精度、敏感层选择。

自动化搜索的核心是定义一个搜索空间和评估指标。搜索空间包括每层的量化位宽、粒度、是否量化等。评估指标就是精度和推理速度的加权组合。搜索算法可以用强化学习、进化算法或者简单的网格搜索。

实际用下来，自动化搜索能省不少时间，但搜索本身也有开销。如果模型不大，手动调可能更快。如果模型很大，层数很多，自动化搜索的优势就体现出来了。

6.4 量化策略的未来趋势

量化策略还在快速演进。几个明显的趋势：

• 硬件和量化协同设计：新一代的AI加速器越来越多地原生支持低精度计算，量化策略需要针对硬件特性做优化。
• 训练和推理一体化量化：训练时就用低精度，推理时直接部署，省去转换步骤。
• 动态量化：根据输入动态调整量化参数，精度更高，但计算开销也更大。
• 混合精度自动化：自动决定每一层用什么精度，不需要人工干预。

这些趋势的核心逻辑是一样的：让量化更智能、更自动化、更贴近硬件。作为从业者，保持对新技术和新硬件的关注，比死守某一种量化方法更重要。

我在实际项目里踩过的坑，大部分都和校准数据、量化粒度、硬件支持有关。量化策略没有银弹，每个模型、每个硬件、每个场景都需要单独调。但只要你理解了量化的基本原理，掌握了排查问题的思路，大部分问题都能解决。最后再分享一个小技巧：量化之前，先把模型在目标硬件上跑一遍FP32的基准，记录每一层的耗时和内存占用。这样量化之后，你能清楚地知道收益来自哪里，问题出在哪里。