• 人工智能
• 推理引擎
• 模型量化
• 模型优化
• 边缘计算
• 开发工具

MMSE（Minimum Mean Square Error，最小均方误差）是 RKNN Toolkit2 提供的进阶量化算法，用于在模型从浮点转换为定点（INT8）时尽可能减小量化带来的精度损失。本文以 rknn-toolkit2 官方示例quantize_algorithm_mmse为主线，完整讲解 MMSE 量化的配置方法、转换流程、精度分析报告解读与实测输出，帮助你在 rknn-toolkit2 中快速复现并掌握这套量化调优方案。

为什么需要 MMSE 量化算法

神经网络模型在 NPU 上推理通常采用 INT8 定点运算。量化本质上是用低精度数值去逼近浮点权重与激活值，必然引入误差。RKNN Toolkit2 在rknn.config中通过quantized_algorithm参数控制量化算法，可选项为：

• normal：默认量化算法，通用场景的基准方案；
• mmse：基于最小均方误差的量化算法，通过优化量化参数使量化前后的输出误差（均方误差）最小化，通常能带来更低的精度损失。

这一参数定义可以在仓库文档 doc/RKNNToolKit2_API_Difference_With_Toolkit1-2.3.2.md 中确认：Toolkit1 时代还支持kl_divergence、moving_average两种算法，而 Toolkit2 精简为normal（默认）与mmse两种。从命名与转换过程的执行行为可以推断，MMSE 通过迭代优化逼近最小均方误差解（Toolkit1 曾提供mmse_epoch迭代轮数参数，Toolkit2 已将其内置）。

启用 MMSE 后，模型转换过程中会出现名为MmseQuant2的进度条，指示 MMSE 量化的执行进度——这也是判断算法是否生效最直观的标志。

示例工程结构与模型来源

示例位于 rknn-toolkit2/examples/functions/quantize_algorithm_mmse/，包含以下文件：

模型来源为 TensorFlow Models 仓库research/slim中的 MobileNetV1（mobilenet_v1_1.0_224），这是图像分类领域的经典轻量级网络，输入尺寸 224×224、通道数 3，非常适合作为量化算法对比验证的基准模型。

一键运行：脚本使用方式

在示例目录下直接执行：

python test.py

脚本按「配置 → 加载模型 → 构建（量化）→ 精度分析 → 推理 → 输出 TOP5」的顺序自动执行。运行前需要确认两点：

1. 脚本默认目标平台为rk3566，请根据实际使用的芯片修改rknn.config中的target_platform参数；
2. 如需连接开发板（NPU 板端）推理，请在rknn.init_runtime中补充target参数；不指定时默认在 PC 模拟器上运行。

test.py 全流程逐段解析

1. 创建 RKNN 对象

rknn = RKNN(verbose=True)

verbose=True会打印转换各阶段的详细日志，便于观察 MMSE 进度条等关键信息。

2. 配置模型与量化参数

这是本示例的核心环节（见 test.py）：

rknn.config(mean_values=[128, 128, 128], std_values=[128, 128, 128], target_platform='rk3566', quantized_method='channel', quantized_algorithm='mmse')

四个关键参数的作用：

3. 加载 TensorFlow 模型

ret = rknn.load_tensorflow(tf_pb='mobilenet_v1_1.0_224_frozen.pb', inputs=['input'], input_size_list=[[1, 224, 224, 3]], outputs=['MobilenetV1/Logits/SpatialSqueeze'])

• tf_pb：frozen graph 文件路径；
• inputs/outputs：指定网络输入、输出节点名，需要与 pb 文件中实际的 operand 名称一致；
• input_size_list：输入尺寸，[1, 224, 224, 3]对应[batch, height, width, channel]（NHWC 布局）。

4. 构建模型并触发 MMSE 量化

ret = rknn.build(do_quantization=True, dataset='./dataset.txt')

do_quantization=True开启量化，dataset指向校准图片清单。转换过程中会输出MmseQuant2进度条，代表 MMSE 算法正在迭代计算各层量化参数。校准集内容见 dataset.txt：

dog_224x224.jpg

实际工程中应准备足够多、覆盖真实分布的图片来提升量化效果。

5. 精度分析（量化误差评估）

ret = rknn.accuracy_analysis(inputs=['dog_224x224.jpg'], output_dir=None)

这一步对比浮点「golden」模型与量化模拟器逐层输出的误差，直接量化 MMSE 算法的收益，是判断量化质量的关键依据。

6. 推理与 TOP5 输出

img = cv2.imread('./dog_224x224.jpg') img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB) img = np.expand_dims(img, 0) rknn.init_runtime() outputs = rknn.inference(inputs=[img], data_format=['nhwc']) show_outputs(softmax(outputs))

• 图片读取后需从 BGR 转 RGB 并增加 batch 维度；
• init_runtime()不传target时在模拟器运行，传开发板地址/名称则板端推理；
• inference的data_format与加载时的 NHWC 布局对应；
• softmax将原始 logits 归一化为概率，show_outputs解析 labels.txt 并打印概率最高的 5 个类别。

精度分析报告如何解读

accuracy_analysis输出的每一行对应一个网络层，格式为：

layer_name simulator_error entire single cos euc cos euc -------------------------------------------------------------------------------------------------- [exDataConvert] input:0_int8 0.99999 | 0.8565 0.99999 | 0.8565 [Conv] MobilenetV1/Logits/Conv2d_1c_1x1/BiasAdd:0 0.99914 | 4.6217 0.99992 | 1.4081

字段含义（与 accuracy_analysis 示例 的说明一致）：

• simulator_error：模拟器逐层输出与「golden」浮点参考值的误差；
• entire：golden与模拟器的逐层累积误差，量化误差会沿网络逐层传递放大，反映整网最终精度影响；
• single：单层输出误差，能更真实反映模拟器在单层上的精度水平，不受前层误差累积干扰；
• cos：余弦相似度，越接近 1.00000 越好；
• euc：欧氏距离，越小越好。

从 README.md 中记录的典型输出可以看到，MMSE 量化后主干层entire余弦相似度普遍保持在 0.99681 以上，末端输出层single欧氏距离也收敛在较低水平，说明量化后的特征保留度良好。

实测结果：TOP5 分类输出

推理结束后打印分类结果：

-----TOP 5----- [ 156] score:0.945152 class:"Shih-Tzu" [ 155] score:0.050125 class:"Pekinese, Pekingese, Peke" [ 205] score:0.003332 class:"Lhasa, Lhasa apso" [ 284] score:0.000685 class:"Persian cat" [ 260] score:0.000090 class:"Pomeranian"

测试图片dog_224x224.jpg被正确识别为「Shih-Tzu（西施犬）」，置信度 0.945，其余为同属小型犬/猫类别的低概率候选项，符合预期。

需要说明的是：不同平台、不同版本的工具与驱动，结果可能略有差异。这既包括 TOP5 分数的小幅波动，也包括精度分析表中各层误差数值的变化，对比实验时应固定工具链版本。

与其他量化配置的对比与选型建议

• normalvsmmse：normal是默认通用方案，转换速度快；当模型对精度敏感（如检测、分割任务或小模型）且normal量化后精度不达标时，可切换mmse对比精度分析报告中的entire/single误差，选择误差更小的方案；
• quantized_method='channel'：按通道独立计算量化参数，相比按整层/张量粒度能保留更多动态范围信息，是 Toolkit2 的推荐默认用法，与mmse配合使用效果更佳；
• Toolkit1 与 Toolkit2 差异：见 doc/RKNNToolKit2_API_Difference_With_Toolkit1-2.3.2.md，Toolkit2 的quantized_algorithm仅保留normal/mmse，quantized_method为新增参数，quantized_dtype默认值为asymmetric_quantized-8。

扩展阅读：YAML 配置文件中的等价写法

除 Python API 外，rknn-toolkit2 也支持通过model_config.yml以声明式配置完成量化设置。以 caffe/mobilenet_v2 示例 为例，对应配置片段为：

quantize: true # 是否量化 dataset: ./dataset.txt # 量化dataset文件路径 configs: quantized_dtype: asymmetric_quantized-8 # 量化类型 quantized_algorithm: normal # 量化算法（可改为 mmse） quantized_method: channel # 量化方法

将quantized_algorithm改为mmse即可复刻本示例的量化策略，适合批量管理多个模型的量化配置。本文示例的 Python 方式与 YAML 方式参数一一对应，可互相印证。

总结

MMSE 量化算法是 RKNN Toolkit2 中降低 INT8 量化精度损失的利器。通过本示例你可以掌握一套完整闭环：rknn.config开启quantized_algorithm='mmse'→rknn.build观察MmseQuant2进度条 →accuracy_analysis逐层评估entire/single误差 → 推理验证 TOP5 结果。建议在实际项目中针对自己的模型分别用normal与mmse做对比实验，以精度分析报告为准选择量化方案。

• 人工智能
• 推理引擎
• 模型量化
• 模型优化
• 边缘计算
• 开发工具