做DEIM这套端到端检测器落地也有小半年了，前几篇我一直在折腾它的denoising机制和多尺度融合，调来调去发现一个更基础的问题：主干不动，上面堆再多花活，特征质量的瓶颈始终卡在backbone身上。DEIM本身收敛快、训练调度友好，这点我非常喜欢，但它默认用的主干基本还是通用分类网络，在真实业务场景里对小目标、遮挡目标、复杂背景的特征响应并不理想。这一篇我决定动主干，做法是给HG卷积主干加一个注意力模块，思路概括起来就八个字：大核看全局、激励分主次。大核分支负责用大感受野把全局上下文捞回来，激励分支负责在通道维度给关键特征加权、把冗余通道压下去。全文从模块设计、PyTorch实现、插入位置、训练调参一直讲到自定义数据集的完整落地流程，适合正在用DEIM做检测项目、或者想给DETR系模型主干加注意力但不知道从哪下手的朋友参考。

1. 先摸清主干：DEIM的表现到底卡在哪

1.1 DEIM框架里主干的真实定位

DETR系检测器（DEIM是其中相当能打的一支）和传统两阶段、单阶段检测器最大的不同，是把目标检测完全建模成集合预测问题。主干提取特征、encoder做全局建模、decoder做query到目标的匹配，整个流程端到端训练。很多人觉得这种结构下主干的作用被弱化了——反正后面还有六层encoder在做注意力，特征全局信息可以靠encoder补。这个想法在标准COCO上问题不大，COCO的目标尺度分布相对均衡、背景干净，encoder的空间注意力确实能兜底。

但一旦换成业务数据，比如车辆检测里的小目标、工业质检里的密集遮挡件、遥感场景里的跨尺度目标，主干的分辨率和感受野缺陷就会直接暴露。原因也很简单：encoder的注意力是在主干给的feature map基础上做的，如果主干提取的特征里目标区域本身响应就弱，encoder再怎么做attention也捞不回来。我做过对比实验，把DEIM的encoder层数从6层加到9层，在COCO上能涨0.4个点，但在自己的小目标数据上几乎不动。反过来只改主干特征质量，涨幅反而更明显。这说明DEIM这种结构对主干的依赖比想象中大得多。

1.2 HG卷积主干的优势与两个具体短板

HG风格主干（Heterogeneous Group Convolution，异构分组卷积）在实时性上有天然优势：分组卷积把计算量打散，可以用更宽的通道数换取更强的表达能力，这也是很多实时检测器选它做backbone的原因。我实测HG主干在COCO上和同量级ResNet有来有回，速度还更快。

但分组带来的代价是组间信息隔离。HG主干的不同分组各管各的感受野和通道，彼此之间缺少交互。这种隔离在浅层问题不大，到深层就麻烦了——目标语义通常是跨组、跨通道协同表达的，隔离久了特征就碎。另外结构上它有两个绕不开的短板，正好是我这次改进的切入点：

第一是感受野。标准卷积堆叠带来的理论感受野在深层确实够大，但有效感受野远小于理论值，尤其对目标边缘和遮挡区域，3×3卷积的响应往往是局部且快速衰减的。HG主干的各个分支虽然用了不同尺寸的卷积核，但整体偏小（3×3、5×5为主），对全局上下文的捕捉还是靠堆层数硬凑。

第二是通道等权。几乎所有卷积主干都有这个问题：输出的C个通道默认权重相同，经过后续1×1卷积或FPN上采样时，语义强的通道和噪声通道等比例混合。在我的训练日志里经常能看到，某些通道对目标类别非常敏感，某些通道基本在响应背景纹理。不加区分的融合等于把好的和坏的混在一起，这就是标题里"分主次"要解决的事。

2. "大核看全局、激励分主次"的模块设计

2.1 为什么是"大核+激励"而不是堆Non-local

一听到给主干加注意力，很多人第一反应是Non-local或者直接上Transformer block。Non-local确实能建模全局依赖，但它在特征图分辨率高的时候计算量和显存消耗都很夸张，对实时检测器来说基本劝退。Transformer block在主干上做也有同样的效率问题，ViT那套patch化加MHSA搬到卷积主干内部，速度代价太大。

而卷积注意力这一系（SE、CBAM、ECA）的优势是轻量、即插即用、对推理速度影响小。CBAM里同时包含通道注意力和空间注意力：空间注意力用7×7普通卷积做空间权重，通道注意力用SE式的squeeze-excitation。这个思路本身很扎实，我的"大核看全局、激励分主次"本质上就是把CBAM的空间注意力部分升级为大核depthwise卷积，把通道注意力部分用激励机制强化，再针对HG主干的分组特性做一些适配。换句话说是站在巨人肩膀上做工程化改造，不是发明新理论。

2.2 大核分支：用depthwise把全局感受野"省着花"

空间注意力要捕捉全局上下文，最直观的做法就是大卷积核。但7×7的普通卷积参数量是49C²，C是通道数，这在主干内部无论如何都不可接受。解决办法其实早就成熟了：depthwise convolution。7×7的depthwise卷积参数量只有49C，计算量大约是普通卷积的1/C，代价是它本身不跨通道融合，所以后面要跟一个1×1卷积把通道信息重新混合，这就是经典的depthwise + pointwise分解，MobileNet和ConvNeXt都在用。

kernel size怎么选？我分别试过5×5、7×7、13×13。5×5的提升有限，两三个epoch就能看出来增益不如7×7明显；13×13在小数据集上过拟合明显，速度还掉了接近8%。7×7是性价比最高的档位。如果你的输入分辨率特别大（比如遥感长图切片），可以尝试9×9或11×11，但一定要在验证集上盯过拟合。另外大核depthwise在GPU上的实际开销比FLOPs数字显示的大，这个坑我放在最后一章详细说。

2.3 激励分支：SE式通道重标定如何做到"分主次"

通道激励用的是标准的Squeeze-and-Excitation流程。先把每个通道全局池化成1×1的统计量（squeeze），然后经过两个1×1卷积完成降维-升维（excitation），最后用sigmoid得到0到1之间的通道权重，和原始特征逐通道相乘。这里"分主次"体现在两个设计点上：

第一个是降维比（reduction），一般取16。通道的重要性不是独立判断的，而是参考了同组其他通道的整体分布。降维相当于让通道之间先"商量"再打分，压缩得越狠，抑制噪声通道的能力越强，但也越容易把语义相近的通道误伤。小数据集上我建议reduction取8到16之间，不要低于4，低于4基本就退化成了逐通道独立打分，失去了"参考上下文"的意义。

第二个是全局池化的意义。用全局平均池化统计每个通道在整个空间范围上的平均响应，这个全局统计量和前面大核空间注意力的"全局"形成互补——一个在空间维度看全局，一个在通道维度看全局。两个维度各看各的，最后再合并，正好对应"看全局"和"分主次"两个动作。

2.4 模块整体结构与融合顺序

HG注意力模块接收主干某个stage输出的特征X，形状是B×C×H×W，然后走两条并行支路：

• 空间支路：X先过depthwise 7×7卷积，带BN，再过1×1卷积投影到单通道，sigmoid后得到空间权重图Ms，形状B×1×H×W，标记每个空间位置的重要程度。
• 通道支路：X先做全局平均池化到B×C×1×1，然后1×1降维、ReLU、1×1升维，sigmoid后得到通道权重Mc，形状B×C×1×1，标记每个通道的重要程度。

融合时先按通道加权再按空间加权：Y = X * Mc * Ms，最后加一个残差：Out = X + Y。残差设计很关键，它让模块在训练初期表现为近似恒等映射，主干可以直接继承预训练权重的能力，新模块再逐步学会该关注哪里。这也是这类注意力模块在迁移学习场景下屡试不爽的原因——你的新模块不会一开始就破坏已经学好的特征。

3. 落地实现：HGAttention代码与主干插入位置

3.1 一个可以直接抄走的PyTorch实现

模块本身不复杂，重点是结构清晰、方便改参。我贴一个实际在用的版本：

import torch import torch.nn as nn class HGAttention(nn.Module): """HG卷积注意力模块：大核看全局 + 激励分主次。 Args: channels: 输入特征通道数 kernel_size: 大核深度卷积核大小，推荐7 reduction: 通道激励分支降维比，推荐16 """ def __init__(self, channels, kernel_size=7, reduction=16): super().__init__() hidden = max(8, channels // reduction) # 空间支路：大核depthwise捞全局上下文 self.dwconv = nn.Conv2d( channels, channels, kernel_size, padding=kernel_size // 2, groups=channels, bias=False ) self.bn = nn.BatchNorm2d(channels) self.spatial_proj = nn.Conv2d(channels, 1, 1, bias=False) # 通道支路：SE式激励 self.gap = nn.AdaptiveAvgPool2d(1) self.fc1 = nn.Conv2d(channels, hidden, 1, bias=True) self.relu = nn.ReLU(inplace=True) self.fc2 = nn.Conv2d(hidden, channels, 1, bias=True) self.sigmoid = nn.Sigmoid() def forward(self, x): identity = x # 空间注意力权重：大核看到全局 ctx = self.bn(self.dwconv(x)) ms = self.sigmoid(self.spatial_proj(ctx)) # B,1,H,W # 通道注意力权重：激励区分主次 ca = self.gap(x) ca = self.fc2(self.relu(self.fc1(ca))) # B,C,1,1 mc = self.sigmoid(ca) # 先通道加权，再空间加权，最后残差 out = x * mc * ms return identity + out

如果你的主干是ResNet系列，这个模块连参数都不用改，直接插就行。如果主干用了分组卷积，注意我代码里只在大核depthwise那里用了groups=channels，其他卷积没有分组，这是有意为之——注意力模块本身需要做跨通道信息混合，再分组反而削弱了激励分支的作用。

3.2 插入位置：stage输出端性价比最高

模块放哪，我做了三组对比：

• 方案A：插在每个stage的输出之后，也就是每次下采样之后那张feature map上。
• 方案B：插在每个block内部，每个残差块后面都接一个注意力。
• 方案C：只在最后一个stage输出端加，其他地方不动。

方案B效果最好但计算量翻着倍涨，把一个本来只涨2%耗时的模块变成涨15%，对实时检测器来说不划算。方案C最省，但只提升深层特征，浅层的细节信息没人管。最终我选择了方案A，并在最后一个stage额外再挂一个，形成"每层都有、末端加强"的布局。理由很直接：DEIM的encoder接收主干输出的多尺度特征，主干末端特征直接喂给encoder，末端特征质量高了，encoder那边做全局建模的起点就高，性价比最高。

浅层stage的注意力模块用7×7大核也不会太贵，因为浅层feature map分辨率大但通道数少，深层通道数多但分辨率小，两边一均衡，总开销可控。实测下来完整方案比基线大概贵7%-9%的推理耗时，换来的是超过一个点的mAP提升，这个性价比我认为是能接受的。

3.3 对DEIM后续模块完全透明

这是我最满意的一点。HGAttention不改变输入的通道数，也不改变feature map的尺寸和stride，所以对后续所有模块都是透明的。DEIM的encoder、denoising anchor box、decoder、loss计算全都不用改，只需要在主干forward返回特征之前把模块挂进去。接入成本非常低，从改完代码到跑通，我大概只花了一个晚上。

4. 训练配置与收敛调参：尽量不动DEIM原生策略

4.1 解冻节奏与学习率

DEIM原生的训练策略已经很成熟，我建议不要为了新模块大动干戈。我的做法是保留原生schedule，只动两个地方。

第一个是解冻节奏。HGAttention模块是随机初始化的，而主干其余部分是ImageNet预训练权重。如果一开始就全部放开训练，随机初始化的注意力模块会在前几个epoch产生较大的梯度波动，把预训练主干的特征带偏。我的方案是：前5个epoch冻结主干原有层（不参与反向传播），只训练新模块和DEIM的head部分，让注意力模块先适应数据的统计分布；第6个epoch开始解冻全部参数，恢复正常训练。这样做的收敛速度明显更快，最终精度也略好。

第二个是学习率。加了注意力模块后，训练初期的loss曲线会比原来更抖，尤其是通道激励分支的sigmoid输出非常敏感。我把base learning rate从1e-4降到8e-5，warmup从500步延长到1000步。注意这只是个参考起点，具体值还是得看你的数据量和GPU数量，数据量越小学习率要越低。

4.2 消融实验怎么设计才有效

改进模块最忌讳上来就全上，最后涨了不知道该感谢谁。我的习惯是先跑基线，再逐步加分支，每步都固定seed、固定epoch数、固定batch size，否则对比没有任何说服力。我自己的消融顺序是：

以上数字是我在自己数据集（大约8000张、12个类别的无人机视角图像）上实测的相对值，不同数据集会有出入，但趋势是稳定的：空间分支对AP_s（小目标）的提升明显大于对整体mAP的提升，通道分支则更均衡。这也符合直觉——小目标恰恰是最需要全局上下文来辅助定位的。

4.3 一个反直觉的发现：空间分支有时可以去掉

在第二个数据集上（工业质检场景，目标尺度大、背景单一），我发现完整HGAttention的提升和只用通道激励分支几乎一样，空间分支基本是白加的，还拖慢了速度。后来我理解了：那个场景下DEIM的encoder已经足够做全局建模，主干端再加大核空间注意力属于重复建设。所以如果你的场景目标普遍偏大、上下文信息不重要，可以只保留激励分支，把大核分支裁掉。这个"按需裁剪"的判断标准，就是看基线模型在AP_s上的表现——小目标AP明显偏低，大核分支的收益就大。

5. 换到自定义数据集上的完整落地流程

5.1 标注数据转COCO格式

DEIM官方基于COCO格式训练，数据准备这一步跑不掉。我踩过的坑主要集中在三个地方：

• annotations.json必须包含images、annotations、categories三个顶层字段，缺一个都会在加载时报奇怪的错。
• images里的id和annotations里的image_id必须严格对应，很多工具导出的json这两个字段对不上，训练时loss直接不下降。
• 每张图的annotations列表不能为空，否则batch里会出现没有GT的图，denoising部分会报错。我的习惯是训练前写个脚本统计一下每类目标的数量分布和面积分布，顺便过滤掉完全没有GT的图。

从LabelMe或VOC格式转COCO，我建议直接用现成的转换脚本改一改，主要是读polygon或xml然后写标准json，不复杂但很繁琐。

5.2 配置文件改动清单

DEIM的配置继承自MMDetection风格的config体系。至少要改这几处：

• num_classes改成你自己的类别数，对应decoder和loss部分的类别头。
• data_root、ann_file、img_prefix指向自己的数据和标注。
• 类别名要和标注里的category_id一一对应。
• 输入尺寸：如果你的目标偏小，建议把测试时的resize scale调大一点，比如从默认的800×1333改成1000×1500，代价是速度变慢，但AP_s通常能涨。
• max_per_img：DEIM的denoising训练会给每张图生成额外的anchor query，如果一张图里目标特别多，默认的max_per_img可能要调大，否则会截掉部分GT的监督信号。
• 如果目标尺度分布和COCO差异很大，建议检查一下denoising anchor相关的尺度和比例设置，让初始anchor先贴合你的数据分布，能明显加快收敛。

HGAttention模块本身在config里不需要额外配置，它就是个即插即用的结构，这算是卷积注意力模块最大的优点。

5.3 训练监控与收敛判断

DEIM收敛速度确实快，1× schedule（12个epoch）通常到第8、9个epoch就接近峰值了。加了HGAttention之后，前2-3个epoch loss可能比基线略高，这是正常的，新模块在适应数据；到第5个epoch左右loss应该反超基线，如果到第7个epoch还没反超，说明学习率或者模块设计有问题，别硬等。

我比较推荐的监控指标是正负样本匹配数——DEIM的decoder在前期会匹配到大量低质量预测，如果加了注意力模块后匹配数掉得厉害，大概率是主干特征分布被破坏了，优先检查BN层的统计量，而不是继续加epoch。

6. 踩坑记录：大核、分组对齐与BN漂移

6.1 大核卷积的FLOPs陷阱与实际推理开销

这是我最想提醒的一个坑。7×7 depthwise在FLOPs上确实便宜，但GPU实际跑起来比理论数字慢得多。原因是depthwise卷积的访存密集度高、计算密度低，7×7的kernel做乘法时数据复用率差，GPU的算力根本喂不饱，瓶颈卡在显存带宽上。我实测7×7 depthwise一个层跑出的耗时，大概是同等FLOPs的3×3 depthwise的2.5倍。

解决思路有三个：一是降低大核使用的频率，只在关键stage用7×7，其他stage用5×5；二是把大核分解成两个小核（比如7×7拆成7×1和1×7），效果略降但速度快很多；三是用TensorRT之类的推理引擎对depthwise做算子融合，部署环境里收益最明显。

6.2 分组卷积的通道对齐问题

如果HG主干的分组数不是1，新模块的1×1卷积要不要跟着分组？我一开始没注意这个，直接全通道做1×1，结果在某个分组数比较极端的主干上效果不升反降。原因也好理解：分组卷积的每个分组输出只在组内做信息混合，注意力模块的全通道1×1会强行把不同组的特征拉通，等于在主干预设的"组间隔离"上撕了个口子，破坏了主干原有的特征分工。

我的结论是：如果光用HG这个模块，全通道1×1没问题；如果HG主干本身有分组，先做个通道shuffle或者统一改成分组对齐的1×1，效果会更稳。这个没有标准答案，建议两个版本都跑一下，固定seed对比最靠谱。

6.3 BN统计量漂移

新模块里的BN层初始统计量（running_mean、running_var）是从预训练继承来的，但新模块没有预训练，BN的初始统计量实际上是0和1，前几个迭代会剧烈波动，甚至出现loss冲到NaN的情况。我给模块里的BN加了两个保险：一是前500次迭代做线性warmup，让学习率从0慢慢爬到目标值；二是把BN的eps从默认1e-5改成1e-3，稍微牺牲一点精度换稳定性。

如果做完这两个还不稳，干脆把这个BN换成GroupNorm，GN不受batch size影响，在分布式训练或者小batch场景下更省心。代价是推理时GN的算子在某些部署框架里支持不够好，这个看你的部署环境再权衡。

最后再分享一个小技巧：如果你在DEIM上加完HGAttention之后发现提升不明显，先别急着调参，把空间分支的输出单独可视化一下，看看大核卷积学到的空间权重到底在关注什么。我在一个数据集上就是这么发现权重大面积集中在背景上，一查是输入分辨率设置太低、目标太小，空间支路根本看不清目标，把输入尺寸调大之后提升立刻出来了。模块本身没毛病，往往是数据或者配置的问题，别一上来就怀疑结构。