简介面向高校本硕博教研学习的Mask-RCNN目标检测与识别MATLAB仿真资源包提供高精度实例分割的完整工程实现覆盖从预训练模型加载到检测结果可视化的全流程。压缩包共13个文件整体大小约194.12MB包含6个MATLAB脚本主程序、RCNN检测、配置管理、掩码生成、网络梯度等模块、1个预训练权重文件、1段仿真操作录像以及5张结果示例图片。已有1260人学习使用。读者可直接运行主程序快速获得检测结果也可对照各函数深入理解Mask-RCNN中区域提议、特征提取和掩码生成的关键机制配套视频演示了运行流程、MATLAB版本选择及当前路径设置等易错细节能显著降低上手门槛。该资源适用于算法编程实践、课程设计与毕业论文参考适合具备一定深度学习基础的MATLAB使用者。1. Mask-RCNN不是“目标检测加分割”那么简单把Mask-RCNN理解成Faster R-CNN加一个分割头是许多人第一次接触这个模型时最大的误判。真正让它在实例分割任务里站稳的是RoIAlign取代RoIPooling、mask分支与分类回归分支并行、以及训练时mask损失只对正样本回传这三件事。这个Matlab仿真包把这些环节全部拆开成了独立函数createMaskRCNN.m负责两阶段骨架createMaskHead.m单独做掩码头networkGradients.m处理自定义反向传播跑通一次就能看清整个模型的数据流。对正在做课程设计或论文复现的本硕博来说这份资源比直接用现成工具箱更有学习价值因为你改锚框、改backbone、加分类头时动的是看得见的代码而不是黑盒配置。2. 从Faster R-CNN到Mask-RCNN两阶段框架里的配置项在Matlab里怎么落2.1 createMaskRCNNConfig.m锚框、ROI、类别数这些参数怎么定Mask-RCNN在两阶段检测器的基础上增加了mask分支但第一阶段RPN的区域提议逻辑没有本质变化。createMaskRCNNConfig.m这个文件是全局参数入口训练和推理都会引用它。我一般会先看它定义的numClasses、anchorScale、anchorRatios、roiPoolSize和maskPoolSize这几个字段因为它们直接决定后面createMaskRCNN.m里层的维度能不能对得上。function cfg createMaskRCNNConfig() cfg.numClasses 3; % 目标类别数 1背景例如 person/car/bike cfg.anchorScale [32, 64, 128, 256]; % 锚框基础边长 cfg.anchorRatios [0.5, 1, 2]; % 宽高比 cfg.roiPoolSize [14 14]; % RCNN回归/分类分支的ROI特征图尺寸 cfg.maskPoolSize [14 14]; % mask分支的ROI特征图尺寸mask head里会放大到28x28 cfg.rpnStride 16; % 特征图相对原图的步长ResNet50通常是16 cfg.minObjectSize [16 16]; % 小于该尺寸的提议会被忽略 end这段配置里最容易被忽略的是roiPoolSize和maskPoolSize的关系。分类回归分支把ROI池化到7×7或14×14都行但mask分支最终要输出28×28的掩码所以maskPoolSize通常取14×14后面再通过反卷积上采样到28×28。如果你在createMaskHead.m里看到第一层是transposedConv2dLayer那它的输入空间尺寸必须和maskPoolSize对应。改类别数时只需要动numClasses但要注意createMaskRCNN.m里的全连接层输出维度是numClasses * 2分类和numClasses * 4回归这两个数字不会自动同步要自己改。锚框参数决定小目标的上限。这个仿真包里默认的anchorScale是从32像素起步对公开数据集里的车辆、行人这类中尺度目标够用。如果你要检测小物体比如遥感图像里的船我会把anchorScale改成[8, 16, 32, 64]同时把minObjectSize调成[8 8]。这组参数和RPN的滑动窗口有关不是随便改的——每个锚框在特征图上的位置由rpnStride决定改小锚框尺寸后RPN的positive阈值也要跟着调否则大量小锚框会被当作背景。2.2 createMaskRCNN.m特征提取与RPN的搭法createMaskRCNN.m负责把backbone、RPN、ROI池化和头部组装成一个dlnetwork。Matlab里做这个事有两种常见做法一种是直接调用imageInputLayer、convolution2dLayer手工拼网络另一种是加载pretrained.mat里已经存好的dlnetwork对象再替换头部层。这个仿真包走的是后者因为pretrained.mat里保存了ResNet50的卷积层权重和RPN的训练结果。function net createMaskRCNN(cfg, pretrainedPath) % 加载预训练权重pre trained 里包含backbone和RPN参数 load(pretrainedPath, lgraph, classNames); % 替换分类和回归层适应新的类别数 fcCls fullyConnectedLayer(cfg.numClasses * 2, Name, fc_rcnn_cls); fcReg fullyConnectedLayer(cfg.numClasses * 4, Name, fc_rcnn_reg); lgraph replaceLayer(lgraph, rcnn_cls, fcCls); lgraph replaceLayer(lgraph, rcnn_reg, fcReg); % 构建dlnetwork net dlnetwork(lgraph); end这里的关键在于replaceLayer之后dlnetwork可能会报“层连接不匹配”的错误因为新层的输入维度未必和上一层输出兼容。排查方法是先看被替换层的上一层Name然后检查fullyConnectedLayer的输入大小是否等于上一层输出特征图展平后的维度。比如ResNet50最后一个卷积层输出是14×14×2048展平后是401408那fcCls的输入必须接受这个维度这时候通常需要在全连接层前面加一个fullyConnectedLayer(1024)做降维否则参数量会大到训练不动。如果不想手工替换也可以直接从pretrained.mat里恢复整个模型只改cfg里的类别数然后冻结backbone层只训练头部。冻结操作的实现方式是遍历net.Layers把不需要更新的层放在freezeWeights函数里处理这个函数在Matlab深度学习工具箱里有原生实现直接调用即可。我建议第一次跑通仿真时不要改任何结构先用原参数运行Runme.m等看到检测和分割结果后再尝试替换分类头否则很容易陷入“改了参数模型就崩”的排查循环。2.3 pretrained.mat 到底保存了什么这个文件是整个仿真包的“半成品”状态它包含了在COCO或类似数据集上训练好的backbone权重以及RPN网络的初始权重但没有mask head的最终参数。这种设计是有意的——mask head的训练对显存和迭代次数要求高直接给完整权重会让学生跳过训练过程只看推理结果反而学不到训练逻辑。% 查看pretrained.mat里有什么 data load(pretrained.mat); disp(fields(data)); % 常见字段包括: network, classNames, anchorBoxes, meanImagenetwork字段是一个dlnetwork对象anchorBoxes是RPN使用的锚框坐标meanImage是数据集RGB均值用于输入归一化。注意classNames是元胞数组顺序必须和numClasses一一对应。如果你以后要训练自己的数据集这个矩阵里的名字和顺序要改成你自己的类别列表否则detectMaskRCNN.m输出的标签名会错位。3. Mask分支与训练难点createMaskHead.m 和 networkGradients.m 的配合3.1 mask head 的上采样与损失计算Mask分支的目标是对每个ROI输出一个K×28×28的掩码K是类别数不含背景。createMaskHead.m里最关键的结构是“卷积层反卷积上采样”常见的实现是先接4个3×3卷积然后接一个2×2反卷积把14×14的特征图放大到28×28。% createMaskHead.m 核心结构示意 maskHead [ convolution2dLayer(3, 256, Padding, same, Name, mask_conv1) reluLayer(Name, mask_relu1) convolution2dLayer(3, 256, Padding, same, Name, mask_conv2) reluLayer(Name, mask_relu2) transposedConv2dLayer(2, 256, Stride, 2, Name, mask_deconv) reluLayer(Name, mask_relu3) convolution2dLayer(1, cfg.numClasses, Name, mask_cls) ];这里最后一层卷积输出通道数是cfg.numClasses每个通道对应一个类别的掩码没有sigmoid因为损失函数里会调sigmoid。训练时对于每个ROI只有它所属的那个真实类别的通道才计算损失其他通道忽略。这个“只对正样本的对应类别通道回传”的逻辑就是networkGradients.m存在的意义。如果你发现mask头训练出来的掩码边缘粗糙可以在反卷积后再加一个convolution2dLayer(1, cfg.numClasses)让它做逐像素的类别预测。反卷积的Stride2会把尺寸翻倍如果你的maskPoolSize不是14×14而是7×7这里就要把transposedConv2dLayer的Stride改成4或者串联两个Stride2的反卷积。这一步改错不会报错但输出的掩码尺寸和真实标签对不上训练loss会一直不降。3.2 自定义梯度为什么Mask损失要单独写networkGradientsnetworkGradients.m是这份仿真代码里最有学习价值的部分。常规的dlnetwork训练只需要调用dlgradient模型内部的卷积、全连接层都能自动求导。但Mask分支的损失函数中需要“根据类别索引动态选择通道”这属于典型的非线性索引操作Matlab的自动微分无法完整追踪所以作者重写了梯度函数。function [grad, loss] networkGradients(net, X, y, roiCls, maskTargets) % 前向传播 [Y, maskOut] forward(net, X, Outputs, {rcnn_cls, mask_cls}); % 分类损失交叉熵 lossCls crossentropy(Y{1}, y{1}); % mask损失只取每个ROI对应类别的通道 batchSize size(maskTargets, 4); maskLoss 0; for i 1:batchSize c roiCls(i); % 该ROI的真实类别 maskPred maskOut(:,:,c,i); % 取出对应通道 maskGT maskTargets(:,:,1,i); maskLoss maskLoss mean(binaryCrossEntropy(maskPred, maskGT)); end loss lossCls maskLoss; % 手动计算梯度 grad dlgradient(loss, net.Learnables); end这段代码里的dlgradient其实仍然依赖自动微分但作者把“通道索引”这一步用循环跳过了避免了自定义索引层打断梯度链。注意roiCls必须是从RPN输出和真实标注匹配后得到的整数标签而不是预测的类别概率。如果你发现networkGradients.m运行时报“不支持索引操作”很可能是maskOut的类型不是dlarray在进入循环之前要先确认maskOut能正常切片。手动写梯度的另一个原因是性能。Mask分支的通道选择在GPU上可以用gather操作替代循环但Matlab的自动微分对gather支持有限作者用循环换取稳定性。如果显存够大可以尝试把循环改成maskOut(sub2ind(size(maskOut), ..., roiCls(:), ...))速度会快很多但代码可读性下降。教研用途的话保持循环更容易理解梯度是怎么链式传导的。4. 跑通仿真Runme.m 与常见运行错误排查4.1 正确运行姿势路径、版本、入口仿真包打开后不要急着双击子函数。作者在摘要里特意提醒运行Runme.m不要直接运行子函数。这是因为大部分子函数会调用createMaskRCNNConfig和pretrained.mat相对路径是以工程根目录为基准的。Matlab左侧“当前文件夹”窗口必须显示工程所在目录直接双击某个.m文件时当前路径会自动切到文件所在目录如果这个文件在子文件夹里load(pretrained.mat)就会找不到文件。%% Runme.m 的典型结构 % 清理环境 clear; close all; clc; % 添加路径到搜索目录 addpath(genpath(pwd)); % 加载配置 cfg createMaskRCNNConfig(); % 加载预训练模型 net createMaskRCNN(cfg, pretrained.mat); % 读取测试图像 img imread(2.jpg); % 执行检测与分割 [masks, boxes, scores, labels] detectMaskRCNN(net, img, cfg); % 可视化 visualizeResult(img, boxes, masks, labels, scores);这段脚本的前三行是调试时最容易忽略的。addpath(genpath(pwd))能把所有子文件夹里的函数一次性纳入搜索路径防止createMaskHead.m被调用时找不到依赖的局部函数。如果运行后报“未定义函数或变量”十有八九是这个命令没有被执行或者当前文件夹根本不在工程根目录。检查方法是执行pwd对比是否等于工程路径。版本要求是Matlab 2021a或更高。Mask-RCNN用到的dlnetwork、transposedConv2dLayer、dlgradient在2021a以后API相对稳定。如果你用的是2020b大概率会报“无法解析类 dlnetwork”的错误这不是代码问题是工具箱版本太低。我建议在命令行执行ver(deep)查看深度学习工具箱版本确认是2.0以上再继续。4.2 visualizeResult 与 detectMaskRCNN.m 的输出detectMaskRCNN.m不是简单的封装它内部要处理图像缩放、ROI提取、mask后处理。函数返回的masks是一个大小为H×W×K的逻辑数组K是检测到的实例数boxes是K×4的坐标矩阵格式是[x1, y1, x2, y2]scores是置信度向量labels是类别ID。function [masks, boxes, scores, labels] detectMaskRCNN(net, img, cfg) % 图像预处理缩放至网络输入尺寸减均值 I preprocessImage(img, cfg); % 前向传播得到区域提议和分类得分 [featureMap, rpnProposals] forwardRPN(net, I); % 对每个提议执行ROI池化、分类、回归和mask生成 [boxes, scores, labels, masks] rcnnForward(net, featureMap, rpnProposals, cfg); % 非极大值抑制去掉重叠框 [boxes, scores, labels, masks] nms(boxes, scores, labels, masks, 0.5); end这里nms的阈值0.5是决定检测重叠目标能力的关键。如果你发现两个重叠的行人只被检测出一个把这个阈值降到0.3试试如果同一个物体被输出多个框说明阈值太低或分类分数不够尖锐可以提高到0.7。但注意NMS只处理框不处理maskmask之间可能有重叠后处理里需要有一步把重叠mask的像素分配给置信度最高的实例。可视化时我建议把masks的每个通道用不同颜色叠加到原图上并用insertShape画框。如果mask出现“锯齿”或空洞可以在可视化前对每个mask做一次imclose形态学闭运算但这只是视觉效果不影响评估指标。真正要评估mask质量需要计算mIoU具体脚本放在第5章。4.3 遇到错误怎么处理把仿真包运行中最常见的三种错误整理成下表遇到时可以直接对照处理。报错信息原因解决方式Undefined function createMaskRCNNConfig当前文件夹不在工程根目录或子文件夹没有被addpath运行cd 到工程根目录然后执行addpath(genpath(pwd))Invalid use of dlnetwork或Layer rcnn_cls is not in network预训练模型文件版本和代码不匹配或replaceLayer时层名写错用analyzeNetwork(net)查看层名核对createMaskRCNN.m里引用的NameOut of memory on GPU或训练时显存不足batchSize太大或图像输入尺寸太大在createMaskRCNNConfig.m里调低batchSize或把测试图像缩放至原图的1/2最后一个显存问题在CPU上跑会更常见。Mask-RCNN的RoI层在Matlab里的实现默认会展开所有区域提议显存占用随图像数线性增长。如果你在训练模式建议把图像短边缩放到800像素以内如果只是推理测试保持原始分辨率问题不大。pretrained.mat的加载时间在机械硬盘上可能超过2分钟第一次运行时不要视为死机可以看Matlab左下角的“忙碌”状态。5. 进阶把自己的数据集塞进这个Mask-RCNN框架5.1 数据标注与ground truth格式仿真包自带的pretrained.mat是在通用数据集上训练好的直接用来检测图片里常见的物体没有问题但你如果想让它识别自己的数据集比如电路板上的缺陷或遥感建筑就得重新训练头部。第一步是准备ground truthMatlab提供了imageLabelerApp可以直接在图像上画多边形掩码导出到工作区。导出后的数据结构通常是gTruth对象包含LabelData表。每行是一个样本PixelLabelData存放掩码图像路径LabelData.Name是类别标签。要把这个格式变成Mask-RCNN训练用的数据需要写一个转换函数function [imds, pxds] prepareDataset(gTruth) % 读取图像和像素标签 imds imageDatastore(gTruth.DataSource.Source); pxds pixelLabelDatastore(gTruth.LabelData.PixelLabelData, ... gTruth.LabelDefinitions.Name, gTruth.LabelDefinitions.PixelLabelID); end这里PixelLabelID必须是整数背景设为0第一个类别设为1以此类推。createMaskHead.m里的cfg.numClasses要减去背景后等于你定义的类别数1实际是numClasses包含背景。如果你只有背景缺陷两类numClasses就是2而pixelLabelDatastore里的标签ID是0和1。这个错位在代码里很隐蔽loss算出来可能很低但掩码和标签永远对不上。5.2 修改分类器头与输出层在createMaskRCNN.m里已经预留了替换全连接层的方法训练时还要把Mask分支最后一层卷积的通道数改成新类别数。这一步最容易犯的错是只改分类层、忘改mask层。分类层输出numClasses * 2mask层输出numClasses * 2不对mask层输出通道数等于numClasses因为背景类不需要掩码。如果你把numClasses设为3背景两类mask层就是2个通道应该用cfg.numClasses - 1作为输出通道数。很多现成代码写convolution2dLayer(1, cfg.numClasses)包含背景通道训练时忽略即可但推理时会造成内存浪费。建议改成cfg.numClasses - 1对应真实前景类别数。% 修改mask头输出通道 maskOutLayer convolution2dLayer(1, cfg.numClasses - 1, Name, mask_cls_final); lgraph replaceLayer(lgraph, mask_cls, maskOutLayer);如果替换后报维度不匹配检查networkGradients.m里取maskOut(:,:,c,i)时c的取值范围。当numClasses - 1比真实标签最大值小时训练会直接越界。一个安全的做法是先用min(roiCls, size(maskOut,3))裁剪索引但更好的办法是确认标签从1开始连续编号没有跳号。5.3 验证mask IOU的快速脚本训练结束后评估mask质量不能只看图像上的叠加效果。写一个快速脚本计算预测mask和真实mask的交并比这个数值比检测框AP更能反映Mask-RCNN的分割精度。function iou computeMaskIOU(predMask, gtMask) % predMask和gtMask都是二值矩阵同尺寸 intersection sum(predMask(:) gtMask(:)); union sum(predMask(:) | gtMask(:)); iou intersection / (union 1e-6); end实际评估时对每个类别的所有样本求平均IoU阈值一般取0.5即IoU大于0.5算检测正确。你在训练过程中可以定期在验证集上调用这个函数并打印每个类别的掩码IoU。如果你的模型对某个类别总是低于0.3大概率是样本太少或者maskPoolSize太小导致细节丢失把maskPoolSize从14×14改到28×28同时把mask head里的反卷积改成Stride4通常能提升细长结构的IoU。但代价是训练显存占用翻倍小显存机器上不建议直接在训练时改可以训练完用predict冻结模型再单独上采样。本文还有配套的精品资源点击获取 Matlab实现Mask-RCNN实例分割：从RPN到掩码头的完整解析
简介面向高校本硕博教研学习的Mask-RCNN目标检测与识别MATLAB仿真资源包提供高精度实例分割的完整工程实现覆盖从预训练模型加载到检测结果可视化的全流程。压缩包共13个文件整体大小约194.12MB包含6个MATLAB脚本主程序、RCNN检测、配置管理、掩码生成、网络梯度等模块、1个预训练权重文件、1段仿真操作录像以及5张结果示例图片。已有1260人学习使用。读者可直接运行主程序快速获得检测结果也可对照各函数深入理解Mask-RCNN中区域提议、特征提取和掩码生成的关键机制配套视频演示了运行流程、MATLAB版本选择及当前路径设置等易错细节能显著降低上手门槛。该资源适用于算法编程实践、课程设计与毕业论文参考适合具备一定深度学习基础的MATLAB使用者。1. Mask-RCNN不是“目标检测加分割”那么简单把Mask-RCNN理解成Faster R-CNN加一个分割头是许多人第一次接触这个模型时最大的误判。真正让它在实例分割任务里站稳的是RoIAlign取代RoIPooling、mask分支与分类回归分支并行、以及训练时mask损失只对正样本回传这三件事。这个Matlab仿真包把这些环节全部拆开成了独立函数createMaskRCNN.m负责两阶段骨架createMaskHead.m单独做掩码头networkGradients.m处理自定义反向传播跑通一次就能看清整个模型的数据流。对正在做课程设计或论文复现的本硕博来说这份资源比直接用现成工具箱更有学习价值因为你改锚框、改backbone、加分类头时动的是看得见的代码而不是黑盒配置。2. 从Faster R-CNN到Mask-RCNN两阶段框架里的配置项在Matlab里怎么落2.1 createMaskRCNNConfig.m锚框、ROI、类别数这些参数怎么定Mask-RCNN在两阶段检测器的基础上增加了mask分支但第一阶段RPN的区域提议逻辑没有本质变化。createMaskRCNNConfig.m这个文件是全局参数入口训练和推理都会引用它。我一般会先看它定义的numClasses、anchorScale、anchorRatios、roiPoolSize和maskPoolSize这几个字段因为它们直接决定后面createMaskRCNN.m里层的维度能不能对得上。function cfg createMaskRCNNConfig() cfg.numClasses 3; % 目标类别数 1背景例如 person/car/bike cfg.anchorScale [32, 64, 128, 256]; % 锚框基础边长 cfg.anchorRatios [0.5, 1, 2]; % 宽高比 cfg.roiPoolSize [14 14]; % RCNN回归/分类分支的ROI特征图尺寸 cfg.maskPoolSize [14 14]; % mask分支的ROI特征图尺寸mask head里会放大到28x28 cfg.rpnStride 16; % 特征图相对原图的步长ResNet50通常是16 cfg.minObjectSize [16 16]; % 小于该尺寸的提议会被忽略 end这段配置里最容易被忽略的是roiPoolSize和maskPoolSize的关系。分类回归分支把ROI池化到7×7或14×14都行但mask分支最终要输出28×28的掩码所以maskPoolSize通常取14×14后面再通过反卷积上采样到28×28。如果你在createMaskHead.m里看到第一层是transposedConv2dLayer那它的输入空间尺寸必须和maskPoolSize对应。改类别数时只需要动numClasses但要注意createMaskRCNN.m里的全连接层输出维度是numClasses * 2分类和numClasses * 4回归这两个数字不会自动同步要自己改。锚框参数决定小目标的上限。这个仿真包里默认的anchorScale是从32像素起步对公开数据集里的车辆、行人这类中尺度目标够用。如果你要检测小物体比如遥感图像里的船我会把anchorScale改成[8, 16, 32, 64]同时把minObjectSize调成[8 8]。这组参数和RPN的滑动窗口有关不是随便改的——每个锚框在特征图上的位置由rpnStride决定改小锚框尺寸后RPN的positive阈值也要跟着调否则大量小锚框会被当作背景。2.2 createMaskRCNN.m特征提取与RPN的搭法createMaskRCNN.m负责把backbone、RPN、ROI池化和头部组装成一个dlnetwork。Matlab里做这个事有两种常见做法一种是直接调用imageInputLayer、convolution2dLayer手工拼网络另一种是加载pretrained.mat里已经存好的dlnetwork对象再替换头部层。这个仿真包走的是后者因为pretrained.mat里保存了ResNet50的卷积层权重和RPN的训练结果。function net createMaskRCNN(cfg, pretrainedPath) % 加载预训练权重pre trained 里包含backbone和RPN参数 load(pretrainedPath, lgraph, classNames); % 替换分类和回归层适应新的类别数 fcCls fullyConnectedLayer(cfg.numClasses * 2, Name, fc_rcnn_cls); fcReg fullyConnectedLayer(cfg.numClasses * 4, Name, fc_rcnn_reg); lgraph replaceLayer(lgraph, rcnn_cls, fcCls); lgraph replaceLayer(lgraph, rcnn_reg, fcReg); % 构建dlnetwork net dlnetwork(lgraph); end这里的关键在于replaceLayer之后dlnetwork可能会报“层连接不匹配”的错误因为新层的输入维度未必和上一层输出兼容。排查方法是先看被替换层的上一层Name然后检查fullyConnectedLayer的输入大小是否等于上一层输出特征图展平后的维度。比如ResNet50最后一个卷积层输出是14×14×2048展平后是401408那fcCls的输入必须接受这个维度这时候通常需要在全连接层前面加一个fullyConnectedLayer(1024)做降维否则参数量会大到训练不动。如果不想手工替换也可以直接从pretrained.mat里恢复整个模型只改cfg里的类别数然后冻结backbone层只训练头部。冻结操作的实现方式是遍历net.Layers把不需要更新的层放在freezeWeights函数里处理这个函数在Matlab深度学习工具箱里有原生实现直接调用即可。我建议第一次跑通仿真时不要改任何结构先用原参数运行Runme.m等看到检测和分割结果后再尝试替换分类头否则很容易陷入“改了参数模型就崩”的排查循环。2.3 pretrained.mat 到底保存了什么这个文件是整个仿真包的“半成品”状态它包含了在COCO或类似数据集上训练好的backbone权重以及RPN网络的初始权重但没有mask head的最终参数。这种设计是有意的——mask head的训练对显存和迭代次数要求高直接给完整权重会让学生跳过训练过程只看推理结果反而学不到训练逻辑。% 查看pretrained.mat里有什么 data load(pretrained.mat); disp(fields(data)); % 常见字段包括: network, classNames, anchorBoxes, meanImagenetwork字段是一个dlnetwork对象anchorBoxes是RPN使用的锚框坐标meanImage是数据集RGB均值用于输入归一化。注意classNames是元胞数组顺序必须和numClasses一一对应。如果你以后要训练自己的数据集这个矩阵里的名字和顺序要改成你自己的类别列表否则detectMaskRCNN.m输出的标签名会错位。3. Mask分支与训练难点createMaskHead.m 和 networkGradients.m 的配合3.1 mask head 的上采样与损失计算Mask分支的目标是对每个ROI输出一个K×28×28的掩码K是类别数不含背景。createMaskHead.m里最关键的结构是“卷积层反卷积上采样”常见的实现是先接4个3×3卷积然后接一个2×2反卷积把14×14的特征图放大到28×28。% createMaskHead.m 核心结构示意 maskHead [ convolution2dLayer(3, 256, Padding, same, Name, mask_conv1) reluLayer(Name, mask_relu1) convolution2dLayer(3, 256, Padding, same, Name, mask_conv2) reluLayer(Name, mask_relu2) transposedConv2dLayer(2, 256, Stride, 2, Name, mask_deconv) reluLayer(Name, mask_relu3) convolution2dLayer(1, cfg.numClasses, Name, mask_cls) ];这里最后一层卷积输出通道数是cfg.numClasses每个通道对应一个类别的掩码没有sigmoid因为损失函数里会调sigmoid。训练时对于每个ROI只有它所属的那个真实类别的通道才计算损失其他通道忽略。这个“只对正样本的对应类别通道回传”的逻辑就是networkGradients.m存在的意义。如果你发现mask头训练出来的掩码边缘粗糙可以在反卷积后再加一个convolution2dLayer(1, cfg.numClasses)让它做逐像素的类别预测。反卷积的Stride2会把尺寸翻倍如果你的maskPoolSize不是14×14而是7×7这里就要把transposedConv2dLayer的Stride改成4或者串联两个Stride2的反卷积。这一步改错不会报错但输出的掩码尺寸和真实标签对不上训练loss会一直不降。3.2 自定义梯度为什么Mask损失要单独写networkGradientsnetworkGradients.m是这份仿真代码里最有学习价值的部分。常规的dlnetwork训练只需要调用dlgradient模型内部的卷积、全连接层都能自动求导。但Mask分支的损失函数中需要“根据类别索引动态选择通道”这属于典型的非线性索引操作Matlab的自动微分无法完整追踪所以作者重写了梯度函数。function [grad, loss] networkGradients(net, X, y, roiCls, maskTargets) % 前向传播 [Y, maskOut] forward(net, X, Outputs, {rcnn_cls, mask_cls}); % 分类损失交叉熵 lossCls crossentropy(Y{1}, y{1}); % mask损失只取每个ROI对应类别的通道 batchSize size(maskTargets, 4); maskLoss 0; for i 1:batchSize c roiCls(i); % 该ROI的真实类别 maskPred maskOut(:,:,c,i); % 取出对应通道 maskGT maskTargets(:,:,1,i); maskLoss maskLoss mean(binaryCrossEntropy(maskPred, maskGT)); end loss lossCls maskLoss; % 手动计算梯度 grad dlgradient(loss, net.Learnables); end这段代码里的dlgradient其实仍然依赖自动微分但作者把“通道索引”这一步用循环跳过了避免了自定义索引层打断梯度链。注意roiCls必须是从RPN输出和真实标注匹配后得到的整数标签而不是预测的类别概率。如果你发现networkGradients.m运行时报“不支持索引操作”很可能是maskOut的类型不是dlarray在进入循环之前要先确认maskOut能正常切片。手动写梯度的另一个原因是性能。Mask分支的通道选择在GPU上可以用gather操作替代循环但Matlab的自动微分对gather支持有限作者用循环换取稳定性。如果显存够大可以尝试把循环改成maskOut(sub2ind(size(maskOut), ..., roiCls(:), ...))速度会快很多但代码可读性下降。教研用途的话保持循环更容易理解梯度是怎么链式传导的。4. 跑通仿真Runme.m 与常见运行错误排查4.1 正确运行姿势路径、版本、入口仿真包打开后不要急着双击子函数。作者在摘要里特意提醒运行Runme.m不要直接运行子函数。这是因为大部分子函数会调用createMaskRCNNConfig和pretrained.mat相对路径是以工程根目录为基准的。Matlab左侧“当前文件夹”窗口必须显示工程所在目录直接双击某个.m文件时当前路径会自动切到文件所在目录如果这个文件在子文件夹里load(pretrained.mat)就会找不到文件。%% Runme.m 的典型结构 % 清理环境 clear; close all; clc; % 添加路径到搜索目录 addpath(genpath(pwd)); % 加载配置 cfg createMaskRCNNConfig(); % 加载预训练模型 net createMaskRCNN(cfg, pretrained.mat); % 读取测试图像 img imread(2.jpg); % 执行检测与分割 [masks, boxes, scores, labels] detectMaskRCNN(net, img, cfg); % 可视化 visualizeResult(img, boxes, masks, labels, scores);这段脚本的前三行是调试时最容易忽略的。addpath(genpath(pwd))能把所有子文件夹里的函数一次性纳入搜索路径防止createMaskHead.m被调用时找不到依赖的局部函数。如果运行后报“未定义函数或变量”十有八九是这个命令没有被执行或者当前文件夹根本不在工程根目录。检查方法是执行pwd对比是否等于工程路径。版本要求是Matlab 2021a或更高。Mask-RCNN用到的dlnetwork、transposedConv2dLayer、dlgradient在2021a以后API相对稳定。如果你用的是2020b大概率会报“无法解析类 dlnetwork”的错误这不是代码问题是工具箱版本太低。我建议在命令行执行ver(deep)查看深度学习工具箱版本确认是2.0以上再继续。4.2 visualizeResult 与 detectMaskRCNN.m 的输出detectMaskRCNN.m不是简单的封装它内部要处理图像缩放、ROI提取、mask后处理。函数返回的masks是一个大小为H×W×K的逻辑数组K是检测到的实例数boxes是K×4的坐标矩阵格式是[x1, y1, x2, y2]scores是置信度向量labels是类别ID。function [masks, boxes, scores, labels] detectMaskRCNN(net, img, cfg) % 图像预处理缩放至网络输入尺寸减均值 I preprocessImage(img, cfg); % 前向传播得到区域提议和分类得分 [featureMap, rpnProposals] forwardRPN(net, I); % 对每个提议执行ROI池化、分类、回归和mask生成 [boxes, scores, labels, masks] rcnnForward(net, featureMap, rpnProposals, cfg); % 非极大值抑制去掉重叠框 [boxes, scores, labels, masks] nms(boxes, scores, labels, masks, 0.5); end这里nms的阈值0.5是决定检测重叠目标能力的关键。如果你发现两个重叠的行人只被检测出一个把这个阈值降到0.3试试如果同一个物体被输出多个框说明阈值太低或分类分数不够尖锐可以提高到0.7。但注意NMS只处理框不处理maskmask之间可能有重叠后处理里需要有一步把重叠mask的像素分配给置信度最高的实例。可视化时我建议把masks的每个通道用不同颜色叠加到原图上并用insertShape画框。如果mask出现“锯齿”或空洞可以在可视化前对每个mask做一次imclose形态学闭运算但这只是视觉效果不影响评估指标。真正要评估mask质量需要计算mIoU具体脚本放在第5章。4.3 遇到错误怎么处理把仿真包运行中最常见的三种错误整理成下表遇到时可以直接对照处理。报错信息原因解决方式Undefined function createMaskRCNNConfig当前文件夹不在工程根目录或子文件夹没有被addpath运行cd 到工程根目录然后执行addpath(genpath(pwd))Invalid use of dlnetwork或Layer rcnn_cls is not in network预训练模型文件版本和代码不匹配或replaceLayer时层名写错用analyzeNetwork(net)查看层名核对createMaskRCNN.m里引用的NameOut of memory on GPU或训练时显存不足batchSize太大或图像输入尺寸太大在createMaskRCNNConfig.m里调低batchSize或把测试图像缩放至原图的1/2最后一个显存问题在CPU上跑会更常见。Mask-RCNN的RoI层在Matlab里的实现默认会展开所有区域提议显存占用随图像数线性增长。如果你在训练模式建议把图像短边缩放到800像素以内如果只是推理测试保持原始分辨率问题不大。pretrained.mat的加载时间在机械硬盘上可能超过2分钟第一次运行时不要视为死机可以看Matlab左下角的“忙碌”状态。5. 进阶把自己的数据集塞进这个Mask-RCNN框架5.1 数据标注与ground truth格式仿真包自带的pretrained.mat是在通用数据集上训练好的直接用来检测图片里常见的物体没有问题但你如果想让它识别自己的数据集比如电路板上的缺陷或遥感建筑就得重新训练头部。第一步是准备ground truthMatlab提供了imageLabelerApp可以直接在图像上画多边形掩码导出到工作区。导出后的数据结构通常是gTruth对象包含LabelData表。每行是一个样本PixelLabelData存放掩码图像路径LabelData.Name是类别标签。要把这个格式变成Mask-RCNN训练用的数据需要写一个转换函数function [imds, pxds] prepareDataset(gTruth) % 读取图像和像素标签 imds imageDatastore(gTruth.DataSource.Source); pxds pixelLabelDatastore(gTruth.LabelData.PixelLabelData, ... gTruth.LabelDefinitions.Name, gTruth.LabelDefinitions.PixelLabelID); end这里PixelLabelID必须是整数背景设为0第一个类别设为1以此类推。createMaskHead.m里的cfg.numClasses要减去背景后等于你定义的类别数1实际是numClasses包含背景。如果你只有背景缺陷两类numClasses就是2而pixelLabelDatastore里的标签ID是0和1。这个错位在代码里很隐蔽loss算出来可能很低但掩码和标签永远对不上。5.2 修改分类器头与输出层在createMaskRCNN.m里已经预留了替换全连接层的方法训练时还要把Mask分支最后一层卷积的通道数改成新类别数。这一步最容易犯的错是只改分类层、忘改mask层。分类层输出numClasses * 2mask层输出numClasses * 2不对mask层输出通道数等于numClasses因为背景类不需要掩码。如果你把numClasses设为3背景两类mask层就是2个通道应该用cfg.numClasses - 1作为输出通道数。很多现成代码写convolution2dLayer(1, cfg.numClasses)包含背景通道训练时忽略即可但推理时会造成内存浪费。建议改成cfg.numClasses - 1对应真实前景类别数。% 修改mask头输出通道 maskOutLayer convolution2dLayer(1, cfg.numClasses - 1, Name, mask_cls_final); lgraph replaceLayer(lgraph, mask_cls, maskOutLayer);如果替换后报维度不匹配检查networkGradients.m里取maskOut(:,:,c,i)时c的取值范围。当numClasses - 1比真实标签最大值小时训练会直接越界。一个安全的做法是先用min(roiCls, size(maskOut,3))裁剪索引但更好的办法是确认标签从1开始连续编号没有跳号。5.3 验证mask IOU的快速脚本训练结束后评估mask质量不能只看图像上的叠加效果。写一个快速脚本计算预测mask和真实mask的交并比这个数值比检测框AP更能反映Mask-RCNN的分割精度。function iou computeMaskIOU(predMask, gtMask) % predMask和gtMask都是二值矩阵同尺寸 intersection sum(predMask(:) gtMask(:)); union sum(predMask(:) | gtMask(:)); iou intersection / (union 1e-6); end实际评估时对每个类别的所有样本求平均IoU阈值一般取0.5即IoU大于0.5算检测正确。你在训练过程中可以定期在验证集上调用这个函数并打印每个类别的掩码IoU。如果你的模型对某个类别总是低于0.3大概率是样本太少或者maskPoolSize太小导致细节丢失把maskPoolSize从14×14改到28×28同时把mask head里的反卷积改成Stride4通常能提升细长结构的IoU。但代价是训练显存占用翻倍小显存机器上不建议直接在训练时改可以训练完用predict冻结模型再单独上采样。本文还有配套的精品资源点击获取