1. 从一次多聚焦拍摄翻车说起：图像融合到底在解决什么问题

图像融合（Image Fusion）是把同一场景的多张源图，合成一张信息更全的结果图。最常见的场景就是多聚焦：拍一朵花，微距镜头下花瓣清晰但背景糊，退后拍背景清晰但花瓣糊，图像融合要做的就是让花瓣和背景同时清晰。灰度图像融合和彩色图像融合在实现路径上差别很大，灰度图只有亮度一个通道，融合规则直接作用在像素或变换系数上；彩色图有 R、G、B 三个通道，直接分通道融合容易偏色，所以通常要先做颜色空间转换，把亮度通道拆出来单独融合，再逆变换回去。

这篇文章面向需要快速选型的算法工程师：如果你手头有一批灰度图或彩色图，想判断该用空间域加权平均、MST 多尺度变换，还是上 CNN，下面会给出可复制的流程骨架、参数配置和验证动作。我试过在几组多聚焦和红外可见光数据上跑通这套流程，踩过的坑主要集中在分解层数选择、彩色通道处理和评价指标误读上，后面会逐一拆开。

先明确一个判断：空间域方法适合实时性优先、源图配准良好的场景；MST 方法适合细节保留要求高、可以接受离线处理的场景；基于模型的方法适合有训练数据、追求泛化性的场景。这个判断会贯穿全文。

2. TaoToken 前置：把融合实验的模型调用统一到一个入口

做图像融合选型时，除了传统算法，往往还要对比 CNN 类融合模型的效果。如果每个模型都单独配环境、单独申请 Key，实验管理会很乱。我的做法是把模型调用统一到 TaoToken 上，它提供 OpenAI 兼容的接口，模型对话、Coding Plan、API Keys 和接入文档都在一个控制台里管理。

具体来说，TaoToken 能做什么：你可以在模型对话页面直接测试不同模型对图像描述、融合质量评估这类任务的表现；在 Coding Plan 里管理长期编码任务的模型配额；在 API Keys 页面生成和管理密钥；接入文档里给出了兼容接口的调用方式。适合谁：需要频繁切换模型做对比实验、又不想维护多套鉴权体系的算法工程师。

官网入口是 https://taotoken.net/?utm_source=taotoken_aicg_blog_end&utm_medium=csdn&utm_campaign=rewrite&utm_content= ，API 基址是 https://taotoken.net/api ，注意 API 地址不带 UTM 参数。如果你只是要验证某个模型对融合结果的语义描述能力，可以直接用模型对话页面；如果要长期跑编码或 Agent 任务，走 Coding Plan 更合适；接入和排障相关的操作，去 API Keys 和接入文档页面。

注意：TaoToken 在这里的角色是模型调用入口，不是图像融合算法本身。融合算法仍然在你的本地或服务器上跑，TaoToken 负责的是融合流程中涉及的模型推理环节。

3. 可复制配置：灰度与彩色图像融合的流程骨架

3.1 数据准备与配准检查

融合的第一步不是写融合规则，而是确认源图已配准。多聚焦图像通常来自同一机位，配准问题不大；红外与可见光、MR 与 PET 这类多模态图像，配准误差会直接毁掉融合结果。

import cv2 import numpy as np def check_registration(img_a, img_b, threshold=2.0): """用相位相关法粗查配准偏移""" gray_a = cv2.cvtColor(img_a, cv2.COLOR_BGR2GRAY) if img_a.ndim == 3 else img_a gray_b = cv2.cvtColor(img_b, cv2.COLOR_BGR2GRAY) if img_b.ndim == 3 else img_b shift, response = cv2.phaseCorrelate( np.float32(gray_a), np.float32(gray_b) ) print(f"偏移量: {shift}, 响应值: {response:.4f}") if abs(shift[0]) > threshold or abs(shift[1]) > threshold: print("警告：偏移超过阈值，建议先做配准") return shift img_x = cv2.imread("source_x.png") img_y = cv2.imread("source_y.png") check_registration(img_x, img_y)

灰度图像直接读入就是单通道，彩色图像读入是 BGR 三通道。如果你的源图尺寸不一致，先用cv2.resize对齐到同一尺寸，再做后续处理。

3.2 空间域融合：加权平均与最大值法

空间域方法直接操作像素值，最简单的两种是加权平均和最大值法。

def weighted_average_fusion(img_x, img_y, alpha=0.5): """加权平均融合，alpha 控制源图 X 的权重""" return cv2.addWeighted(img_x, alpha, img_y, 1 - alpha, 0) def max_fusion(img_x, img_y): """最大值融合，逐像素取较大值""" return np.maximum(img_x, img_y) fused_avg = weighted_average_fusion(img_x, img_y, alpha=0.6) fused_max = max_fusion(img_x, img_y) cv2.imwrite("fused_avg.png", fused_avg) cv2.imwrite("fused_max.png", fused_max)

加权平均的 alpha 是关键参数。alpha 偏大，结果更接近源图 X；偏小则更接近源图 Y。实测下来，多聚焦图像用 0.5 到 0.6 之间比较稳，红外可见光融合则要根据两路信号的对比度动态调。最大值法计算最快，但边缘容易出现亮度跳变。

3.3 MST 融合：拉普拉斯金字塔与非下采样剪切波

MST 方法的核心是分解、系数融合、逆变换三步。以拉普拉斯金字塔为例：

def laplacian_pyramid_fusion(img_x, img_y, levels=4): """拉普拉斯金字塔融合，levels 为分解层数""" gp_x = img_x.copy() gp_y = img_y.copy() lp_x, lp_y = [], [] for i in range(levels): gp_x_down = cv2.pyrDown(gp_x) gp_y_down = cv2.pyrDown(gp_y) lp_x.append(gp_x - cv2.pyrUp(gp_x_down, dstsize=(gp_x.shape[1], gp_x.shape[0]))) lp_y.append(gp_y - cv2.pyrUp(gp_y_down, dstsize=(gp_y.shape[1], gp_y.shape[0]))) gp_x, gp_y = gp_x_down, gp_y_down lp_fused = [] for lx, ly in zip(lp_x, lp_y): lp_fused.append(np.maximum(lx, ly)) fused = gp_x for i in range(levels - 1, -1, -1): fused = cv2.pyrUp(fused, dstsize=(lp_fused[i].shape[1], lp_fused[i].shape[0])) + lp_fused[i] return fused fused_lp = laplacian_pyramid_fusion( cv2.cvtColor(img_x, cv2.COLOR_BGR2GRAY) if img_x.ndim == 3 else img_x, cv2.cvtColor(img_y, cv2.COLOR_BGR2GRAY) if img_y.ndim == 3 else img_y, levels=4 ) cv2.imwrite("fused_lp.png", fused_lp)

分解层数 levels 直接影响结果。层数越大，细节提取越多，但执行时间线性增长。多聚焦图像 1 到 2 层就够，多模态医学图像建议 4 层。非下采样剪切波变换（NSST）比拉普拉斯金字塔多方向选择性，速度快，融合效果更理想，但需要额外安装pytorch-wavelets或nsst相关库。

3.4 彩色图像融合：颜色空间转换与亮度通道分离

彩色图像直接分 R、G、B 三通道融合会偏色，正确做法是先转到 YUV 或 Lab 空间，分离亮度通道。

def color_fusion_yuv(color_img, gray_img): """彩色图像与灰度图像融合：YUV 空间亮度通道融合""" yuv = cv2.cvtColor(color_img, cv2.COLOR_BGR2YUV) y_channel = yuv[:, :, 0] fused_y = np.maximum(y_channel, gray_img) yuv[:, :, 0] = fused_y return cv2.cvtColor(yuv, cv2.COLOR_YUV2BGR) color_src = cv2.imread("color_source.png") gray_src = cv2.imread("gray_source.png", cv2.IMREAD_GRAYSCALE) fused_color = color_fusion_yuv(color_src, gray_src) cv2.imwrite("fused_color.png", fused_color)

如果是两幅彩色图像融合，先把两幅都转到 YUV，对 Y 通道做融合，U、V 通道取平均或按清晰度加权，再逆变换回 BGR。这样比直接三通道融合快，而且不会偏色。

4. 验证请求与成功结果：评价指标怎么算、结果怎么读

融合跑完后，需要量化评价。常用指标有熵（EN）、空间频率（SF）、边缘强度（EI）、互信息（MI）和视觉保真度（VIF）。

from skimage.measure import shannon_entropy import numpy as np def spatial_frequency(img): """空间频率：反映图像整体活跃度""" gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) if img.ndim == 3 else img rf = np.sqrt(np.mean((gray[:, 1:] - gray[:, :-1]) ** 2)) cf = np.sqrt(np.mean((gray[1:, :] - gray[:-1, :]) ** 2)) return np.sqrt(rf ** 2 + cf ** 2) def evaluate_fusion(fused, src_x, src_y): """输出融合结果的核心指标""" gray_fused = cv2.cvtColor(fused, cv2.COLOR_BGR2GRAY) if fused.ndim == 3 else fused gray_x = cv2.cvtColor(src_x, cv2.COLOR_BGR2GRAY) if src_x.ndim == 3 else src_x gray_y = cv2.cvtColor(src_y, cv2.COLOR_BGR2GRAY) if src_y.ndim == 3 else src_y en = shannon_entropy(gray_fused) sf = spatial_frequency(gray_fused) print(f"熵 EN: {en:.4f}") print(f"空间频率 SF: {sf:.4f}") return {"EN": en, "SF": sf} evaluate_fusion(fused_lp, img_x, img_y)

成功结果的判断标准：熵值应高于任一源图，说明信息量增加；空间频率应高于源图均值，说明细节保留良好。如果熵值反而下降，通常是融合规则把源图的互补信息抵消了，需要检查系数融合策略。

如果你用 TaoToken 的模型对话页面做融合结果的语义验证，可以把融合前后的图像描述发给模型，让它判断融合结果是否保留了源图的关键内容。接入文档里有兼容接口的调用示例，API Keys 页面生成密钥后即可调用。

5. 本篇常见错排查

报错一：cv2.error: (-215:Assertion failed) src1.size == src2.size

原因：两幅源图尺寸不一致。解决：融合前统一 resize。

img_y = cv2.resize(img_y, (img_x.shape[1], img_x.shape[0]))

报错二：融合结果全黑或全白

原因：图像数据类型是 uint8，做减法或加权时溢出。解决：先转 float32 再运算，最后 clip 回 0 到 255。

img_x_f = img_x.astype(np.float32) / 255.0 img_y_f = img_y.astype(np.float32) / 255.0 fused = (img_x_f * 0.5 + img_y_f * 0.5) fused = np.clip(fused * 255, 0, 255).astype(np.uint8)

报错三：彩色融合结果偏色

原因：直接对 BGR 三通道做融合，没有分离亮度。解决：转 YUV 或 Lab 空间，只融合亮度通道，色度通道取平均。

报错四：MST 分解层数过大导致结果模糊

原因：层数越多，低频系数占比越大，高频细节被平滑。解决：多聚焦图像用 1 到 2 层，多模态图像用 4 层，不要盲目加大。

报错五：评价指标算出来和论文对不上

原因：熵的计算基数不同（log2 还是 loge），或者图像归一化方式不同。解决：统一用skimage.measure.shannon_entropy，它默认以 2 为底。

6. 选型建议与后续接入

回到选型：如果你要实时处理视频流，空间域加权平均或最大值法足够，延迟低；如果做医学图像或遥感图像，MST 方法（NSST 优先）细节保留更好；如果有标注数据且追求泛化，CNN 类融合模型值得投入，但训练成本高。

后续接入方面，排障和接口调用相关的操作走 API Keys 和接入文档页面：https://taotoken.net/api-keys 和 https://taotoken.net/doc 。验证模型对融合结果的描述能力，用模型对话页面：https://taotoken.net/chat 。长期跑编码或 Agent 任务，走 Coding Plan：https://taotoken.net/coding-plan 。控制台入口是 https://taotoken.net/console ，所有密钥和配额都在这里管理。

最后给一个实用技巧：融合实验不要只跑一组参数就下结论。把分解层数、融合规则、颜色空间三个变量各取两到三个值，做交叉对比，用熵和空间频率两个指标画表格，选型边界会清晰很多。