简介本资源为基于孪生自注意力网络的高光谱图像变化检测系统面向计算机、人工智能、通信、遥感等专业的在校学生、教师及企业研发人员可用于课程设计、毕业设计、大作业或初期项目立项演示帮助理解高光谱变化检测的模型搭建与训练流程。压缩包共138个文件约174.68MB包含30个py源码、54个pyc编译文件、18个xml配置、10个mat数据、2个pth权重、2个npy数组及若干png、md、html等覆盖模型定义、数据处理、训练推理与结果可视化等环节。已有176人学习下载。项目代码完整且功能验证通过可直接运行复现便于读者掌握孪生自注意力机制在高光谱变化检测中的实现细节并在此基础上进行二次开发与功能扩展。需注意解压后路径与项目名不要含中文建议重命名为英文后再运行。1. 孪生自注意力网络做高光谱变化检测这套 Python 源码到底能跑出什么高光谱图像变化检测这件事真正上手过的人都知道难点从来不是「有没有模型」而是双时相数据怎么对齐、光谱维度怎么压、变化图怎么出。这套基于孪生自注意力网络的 Python 源码解决的就是从原始高光谱立方体到变化检测结果图的完整链路。它把两个时相的 HSI 分别送进共享权重的自注意力编码器在特征空间做差异建模最后输出像素级变化二值图。适合正在做遥感方向课程设计、毕设或者想找一个能直接跑通的高光谱变化检测 baseline 的人。源码包里带了数据解压后改个英文路径就能开始不用自己去凑数据集。下面按「结构 → 跑通 → 调参 → 避坑 → 进阶」的顺序拆开讲。2. 孪生自注意力网络的骨架双分支权重共享与光谱注意力怎么落地2.1 为什么是孪生结构而不是单分支差分高光谱变化检测的输入是同一区域两个时相的立方体记作 $X_1, X_2 \in \mathbb{R}^{H \times W \times B}$其中 $B$ 是波段数常见从几十到两百多。最朴素的做法是把两个立方体直接相减或者拼接后送进一个分类网络但这样有个硬伤两个时相各自的光照、大气、物候差异会被当成变化信号虚警率压不下来。孪生结构的核心是让两个分支共享同一套权重强制模型把两个时相映射到同一个特征空间再在这个空间里比较。这样「变化」被定义为特征空间中的距离而不是原始像素差。常见做法是共享编码器、各自解码或者共享编码器后在中间层做特征差分。这套源码走的是共享编码器加差分融合的路线参数量比双编码器小一半左右对小数据集更友好。自注意力在这里的作用是捕捉长程光谱依赖。高光谱的波段之间不是独立的某些波段高度相关某些波段对特定地物敏感。卷积核的感受野在光谱维度上有限而自注意力可以让任意两个波段直接交互学出「哪些波段组合对判断变化更重要」。这就是孪生自注意力网络相比纯 CNN 孪生网络的优势所在。2.2 源码目录结构与关键文件定位解压后先别急着跑花两分钟把结构看清楚后面改配置能省很多时间。典型目录长这样HSI-change-detection/ ├── data/ # 高光谱数据含双时相立方体与标签 ├── models/ │ ├── sstformer.py # 孪生自注意力主干 │ └── attention.py # 光谱/空间注意力模块 ├── utils/ │ ├── dataset.py # 数据加载与归一化 │ └── metrics.py # OA / Kappa / F1 计算 ├── configs/ │ └── default.yaml # 波段数、patch 大小、学习率 ├── train.py # 训练入口 ├── predict.py # 推理与变化图输出 └── qd.html # 结果可视化页面qd.html是结果可视化页面训练完打开能看到变化检测的伪彩色叠加图。configs/default.yaml是唯一需要动的配置文件波段数、patch 大小、batch size 都在里面。注意.iml文件是 IDE 的模块配置跟运行无关可以忽略。2.3 数据加载与归一化的关键参数高光谱数据的动态范围差异很大不同传感器、不同场景的反射率量级能差一个数量级。归一化没做对训练 loss 会直接飞掉。源码里utils/dataset.py的归一化逻辑是逐波段 min-max这是高光谱里最稳的做法。# utils/dataset.py 核心片段 import numpy as np def normalize_hsi(cube): 逐波段 min-max 归一化到 [0,1] h, w, b cube.shape out np.zeros_like(cube, dtypenp.float32) for i in range(b): band cube[:, :, i] lo, hi band.min(), band.max() if hi - lo 1e-8: # 全零波段直接置零避免除零 out[:, :, i] 0.0 else: out[:, :, i] (band - lo) / (hi - lo) return out逻辑说明逐波段而不是全局归一化是因为不同波段对地物的响应强度不同全局归一化会让弱响应波段被淹没。参数上1e-8是防止死波段导致除零的阈值这个值不要改大改大会把低对比度波段误判为死波段。如果数据本身已经是反射率产品0~1 范围可以把归一化关掉在 config 里设normalize: false。提示数据立方体的波段顺序要和 config 里的num_bands严格一致顺序错了模型照样能训但精度会莫名其妙掉一截这种坑最难查。3. 从零跑通训练环境、配置与第一个 epoch 的验证3.1 环境依赖与版本约束这套源码是纯 Python 实现依赖 PyTorch 生态。常见做法是用 conda 建一个独立环境避免和系统里的包打架。核心依赖如下依赖建议版本说明Python3.8 ~ 3.103.11 以上部分算子兼容性不稳PyTorch1.12 ~ 2.0带 CUDA 版本CPU 也能跑但慢numpy1.21 ~ 1.242.x 有 API 变动慎用scikit-learn1.0用于 Kappa 等指标matplotlib3.5结果可视化安装命令conda create -n hsi_cd python3.9 -y conda activate hsi_cd pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118 pip install numpy1.23 scikit-learn matplotlib pyyaml tqdm参数说明cu118对应 CUDA 11.8如果你的显卡驱动对应的是 12.x换成cu121。没有独显就把整行换成pip install torch torchvision会自动装 CPU 版。numpy 锁在 1.23 是因为 1.24 之后np.float等别名被移除老代码容易报AttributeError。3.2 配置文件逐项解读configs/default.yaml是训练的总控每一项都影响结果data: root: ./data num_bands: 200 # 波段数必须和立方体实际波段一致 patch_size: 15 # 空间邻域窗口奇数 train_ratio: 0.1 # 训练样本比例高光谱标注少通常 5%~20% model: embed_dim: 64 # 自注意力嵌入维度 depth: 4 # 编码器层数 num_heads: 4 # 注意力头数需整除 embed_dim train: epochs: 200 batch_size: 64 lr: 0.001 weight_decay: 0.0001patch_size: 15意味着每个像素取周围 15×15 的空间邻域作为样本这是高光谱分类的常规做法能引入空间上下文。train_ratio: 0.1是因为高光谱逐像素标注成本极高10% 已经算充裕。embed_dim和num_heads必须满足整除关系64/416 是每个头的维度改成 6 个头就会报维度错误。3.3 启动训练与日志判读配置改好后直接跑python train.py --config configs/default.yaml --gpu 0第一个 epoch 结束后重点看三行日志训练 loss、验证 OA、学习率。正常情况 loss 从 0.6 左右开始下降OA 在前 10 个 epoch 快速爬升到 0.8 以上。如果 loss 不动或者变成 nan八成是归一化或学习率的问题先查数据再查模型。# train.py 训练循环核心 for epoch in range(cfg[train][epochs]): model.train() for x1, x2, y in train_loader: x1, x2, y x1.cuda(), x2.cuda(), y.cuda() pred model(x1, x2) loss criterion(pred, y) optimizer.zero_grad() loss.backward() torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm1.0) optimizer.step() oa, kappa evaluate(model, val_loader) scheduler.step(oa) # 按验证精度调整学习率 print(fEpoch {epoch}: loss{loss.item():.4f} OA{oa:.4f} Kappa{kappa:.4f})逻辑说明clip_grad_norm_是梯度裁剪max_norm1.0防止自注意力层梯度爆炸这个在高光谱小样本训练里很关键。scheduler.step(oa)是按验证精度调整学习率精度不涨就降 lr比固定步长更适应小数据集。注意训练样本少的时候验证集和测试集要严格按空间分块划分不能随机按像素划分。相邻像素高度相关随机划分会让验证精度虚高十几个点这是高光谱里最经典的评估陷阱。4. 推理与结果输出变化图生成和精度指标怎么算4.1 推理脚本与变化图输出训练完用predict.py生成整幅变化图python predict.py --config configs/default.yaml \ --checkpoint runs/best.pth \ --output results/change_map.png推理是滑窗方式对每个像素取 patch 预测再拼回整图。results/change_map.png是二值变化图白色为变化、黑色为未变化。同时会输出一个.npy的概率图方便后续做阈值调整。# predict.py 滑窗推理核心 def sliding_predict(model, cube1, cube2, patch_size15): model.eval() h, w, b cube1.shape pad patch_size // 2 c1 np.pad(cube1, ((pad, pad), (pad, pad), (0, 0)), modereflect) c2 np.pad(cube2, ((pad, pad), (pad, pad), (0, 0)), modereflect) prob_map np.zeros((h, w), dtypenp.float32) with torch.no_grad(): for i in range(h): for j in range(w): p1 c1[i:ipatch_size, j:jpatch_size, :] p2 c2[i:ipatch_size, j:jpatch_size, :] t1 torch.from_numpy(p1).permute(2,0,1).unsqueeze(0).cuda() t2 torch.from_numpy(p2).permute(2,0,1).unsqueeze(0).cuda() prob_map[i, j] torch.sigmoid(model(t1, t2)).item() return prob_map逻辑说明modereflect是边缘填充方式比补零更平滑避免边界伪变化。permute(2,0,1)把(H,W,B)转成(B,H,W)这是 PyTorch 卷积层的输入格式要求。逐像素循环在大图上很慢实际用的时候可以按 batch 组织一次推理一批 patch。4.2 精度指标OA、Kappa 与 F1 的取舍变化检测的评估指标不止一个各自反映不同侧面指标含义适用场景OA总体精度正确像素占比类别均衡时参考Kappa剔除随机一致后的精度变化检测论文标配F1变化类的精确率与召回率调和变化像素占比低时更真实AUC概率图排序质量阈值未定时评估高光谱变化检测里变化像素通常只占 5%~15%OA 会被未变化类拉高看着 0.98 很漂亮实际变化类可能一个没检出来。所以看结果优先看 F1 和 KappaOA 只作参考。utils/metrics.py里三个指标都有实现直接调用即可。4.3 阈值选择对结果的影响概率图转二值图需要一个阈值默认 0.5 不一定最优。常见做法是在验证集上扫一遍阈值取 F1 最高的那个best_f1, best_thr 0, 0.5 for thr in np.arange(0.1, 0.9, 0.05): pred (prob_map thr).astype(int) f1 compute_f1(pred, label) if f1 best_f1: best_f1, best_thr f1, thr print(f最佳阈值 {best_thr:.2f}, F1{best_f1:.4f})参数说明扫描范围 0.1~0.9、步长 0.05 是经验值。如果模型输出的概率普遍偏低比如都在 0.3 以下说明训练不充分或者类别极不平衡这时候调阈值只是治标得回去查损失函数要不要加类别权重。5. 避坑与排查训练不收敛、精度虚高、显存爆掉的真实原因5.1 现象loss 一直是 nan第一个 epoch 就崩原因高光谱数据里存在死波段全零或全常数逐波段归一化时除零产生 inf反向传播后变 nan。或者学习率设太大自注意力层的 softmax 溢出。解决在归一化里加1e-8保护源码已有但如果你换了数据集要确认把lr从 0.001 降到 0.0001 试一轮在 loss 计算前加torch.nan_to_num兜底。我一般会先跑一个python -c import numpy as np; dnp.load(data/cube.npy); print(d.min(), d.max(), np.isnan(d).sum())确认数据本身干净。5.2 现象验证 OA 0.99但变化图几乎全黑原因验证集按像素随机划分相邻像素泄漏模型记住了空间位置而不是学到了变化特征。这是高光谱变化检测最常见的评估陷阱。解决改成按空间块划分比如把整图切成 5×5 的块整块进训练或验证。改完后 OA 通常会掉到 0.9 左右但那个数字才是真实的。源码里dataset.py有split_mode参数设成block即可。5.3 现象训练到一半显存爆掉报 CUDA out of memory原因patch_size或batch_size设太大自注意力的显存占用是 patch 面积的平方级增长。15×15 的 patch 和 32×32 的 patch显存差 4 倍以上。解决先把batch_size减半还不行就降patch_size到 11 或 9。另外depth层数也吃显存4 层降到 2 层能省不少。如果显卡只有 6G建议patch_size: 11, batch_size: 32, embed_dim: 32起步。5.4 现象换了数据集后波段数对不上报维度错误原因不同高光谱数据集的波段数不同比如某些数据集是 200 波段某些是 103 波段。config 里的num_bands没改模型第一层卷积就对不上。解决先确认数据立方体的实际 shapeprint(cube.shape)看第三维。然后同步改 config 的num_bands。如果新数据集波段数差异大embed_dim也可以相应调整波段少的时候 32 就够波段多的时候 64 或 128。5.5 现象训练 loss 正常下降但 Kappa 一直上不去原因类别极度不平衡变化像素太少模型倾向于全预测为未变化loss 看着降其实是在偷懒。解决损失函数换成带类别权重的交叉熵或者用 Focal Loss。权重按类别频率的倒数设置变化类权重给到 5~10 倍。源码train.py里criterion那行可以替换nn.CrossEntropyLoss(weighttorch.tensor([1.0, 8.0]).cuda())是常见起点。6. 进阶玩法把自注意力换成多尺度、加注意力可视化与二次开发方向跑通 baseline 之后真正有意思的是改结构看效果。这套源码的模块化做得还行models/attention.py里的注意力模块是独立可替换的想试多尺度自注意力把单尺度换成金字塔结构就行。常见做法是在编码器的不同深度用不同 patch 划分浅层用小 patch 抓细节深层用大 patch 抓全局最后多尺度特征拼接。# 多尺度注意力融合示例 class MultiScaleAttention(nn.Module): def __init__(self, dim, num_heads4, scales(1, 2, 4)): super().__init__() self.branches nn.ModuleList([ nn.MultiheadAttention(dim, num_heads, batch_firstTrue) for _ in scales ]) self.scales scales self.fuse nn.Linear(dim * len(scales), dim) def forward(self, x): # x: (B, N, C) outs [] for s, branch in zip(self.scales, self.branches): if s 1: # 下采样后再做注意力降低计算量 xd F.avg_pool1d(x.transpose(1, 2), s).transpose(1, 2) o, _ branch(xd, xd, xd) o F.interpolate(o.transpose(1, 2), sizex.size(1), modenearest).transpose(1, 2) else: o, _ branch(x, x, x) outs.append(o) return self.fuse(torch.cat(outs, dim-1))逻辑说明avg_pool1d在光谱维度下采样模拟不同尺度的波段聚合。interpolate把下采样后的特征上采样回原长度保证能拼接。fuse层把多尺度特征压回原始维度。参数上scales(1,2,4)是常用组合尺度太多收益递减还费显存。另一个值得做的方向是注意力可视化。把attention.py里 softmax 后的权重矩阵导出来画成热力图能直观看到模型在判断变化时关注了哪些波段。我一般会在验证集上挑几个典型变化像素把它们的注意力权重叠在光谱曲线上看经常能发现模型关注的是植被红边或者水体吸收带这些物理上有意义的波段这种验证比单纯看精度数字有说服力得多。二次开发的话几个低风险高回报的改法换主干为 CNNTransformer 混合、加对比学习预训练、把二分类扩展成多类变化比如从植被变建筑、从水体变裸地。扩展多类只需要改最后分类头输出维度和损失函数数据标签得重新准备。改之前建议先把当前 baseline 的 Kappa 和 F1 记下来任何改动都跟这个数比不然改着改着就不知道是进步还是退步了。从那以后我每次拿到一个新的变化检测源码都强制先跑一遍原始配置、记下 baseline 指标再动任何一行代码。这套孪生自注意力网络的源码结构清晰、依赖干净作为起点比自己从零搭省太多时间。希望帮到你。本文还有配套的精品资源点击获取 孪生自注意力网络高光谱变化检测Python源码实战：从跑通到调参避坑
简介本资源为基于孪生自注意力网络的高光谱图像变化检测系统面向计算机、人工智能、通信、遥感等专业的在校学生、教师及企业研发人员可用于课程设计、毕业设计、大作业或初期项目立项演示帮助理解高光谱变化检测的模型搭建与训练流程。压缩包共138个文件约174.68MB包含30个py源码、54个pyc编译文件、18个xml配置、10个mat数据、2个pth权重、2个npy数组及若干png、md、html等覆盖模型定义、数据处理、训练推理与结果可视化等环节。已有176人学习下载。项目代码完整且功能验证通过可直接运行复现便于读者掌握孪生自注意力机制在高光谱变化检测中的实现细节并在此基础上进行二次开发与功能扩展。需注意解压后路径与项目名不要含中文建议重命名为英文后再运行。1. 孪生自注意力网络做高光谱变化检测这套 Python 源码到底能跑出什么高光谱图像变化检测这件事真正上手过的人都知道难点从来不是「有没有模型」而是双时相数据怎么对齐、光谱维度怎么压、变化图怎么出。这套基于孪生自注意力网络的 Python 源码解决的就是从原始高光谱立方体到变化检测结果图的完整链路。它把两个时相的 HSI 分别送进共享权重的自注意力编码器在特征空间做差异建模最后输出像素级变化二值图。适合正在做遥感方向课程设计、毕设或者想找一个能直接跑通的高光谱变化检测 baseline 的人。源码包里带了数据解压后改个英文路径就能开始不用自己去凑数据集。下面按「结构 → 跑通 → 调参 → 避坑 → 进阶」的顺序拆开讲。2. 孪生自注意力网络的骨架双分支权重共享与光谱注意力怎么落地2.1 为什么是孪生结构而不是单分支差分高光谱变化检测的输入是同一区域两个时相的立方体记作 $X_1, X_2 \in \mathbb{R}^{H \times W \times B}$其中 $B$ 是波段数常见从几十到两百多。最朴素的做法是把两个立方体直接相减或者拼接后送进一个分类网络但这样有个硬伤两个时相各自的光照、大气、物候差异会被当成变化信号虚警率压不下来。孪生结构的核心是让两个分支共享同一套权重强制模型把两个时相映射到同一个特征空间再在这个空间里比较。这样「变化」被定义为特征空间中的距离而不是原始像素差。常见做法是共享编码器、各自解码或者共享编码器后在中间层做特征差分。这套源码走的是共享编码器加差分融合的路线参数量比双编码器小一半左右对小数据集更友好。自注意力在这里的作用是捕捉长程光谱依赖。高光谱的波段之间不是独立的某些波段高度相关某些波段对特定地物敏感。卷积核的感受野在光谱维度上有限而自注意力可以让任意两个波段直接交互学出「哪些波段组合对判断变化更重要」。这就是孪生自注意力网络相比纯 CNN 孪生网络的优势所在。2.2 源码目录结构与关键文件定位解压后先别急着跑花两分钟把结构看清楚后面改配置能省很多时间。典型目录长这样HSI-change-detection/ ├── data/ # 高光谱数据含双时相立方体与标签 ├── models/ │ ├── sstformer.py # 孪生自注意力主干 │ └── attention.py # 光谱/空间注意力模块 ├── utils/ │ ├── dataset.py # 数据加载与归一化 │ └── metrics.py # OA / Kappa / F1 计算 ├── configs/ │ └── default.yaml # 波段数、patch 大小、学习率 ├── train.py # 训练入口 ├── predict.py # 推理与变化图输出 └── qd.html # 结果可视化页面qd.html是结果可视化页面训练完打开能看到变化检测的伪彩色叠加图。configs/default.yaml是唯一需要动的配置文件波段数、patch 大小、batch size 都在里面。注意.iml文件是 IDE 的模块配置跟运行无关可以忽略。2.3 数据加载与归一化的关键参数高光谱数据的动态范围差异很大不同传感器、不同场景的反射率量级能差一个数量级。归一化没做对训练 loss 会直接飞掉。源码里utils/dataset.py的归一化逻辑是逐波段 min-max这是高光谱里最稳的做法。# utils/dataset.py 核心片段 import numpy as np def normalize_hsi(cube): 逐波段 min-max 归一化到 [0,1] h, w, b cube.shape out np.zeros_like(cube, dtypenp.float32) for i in range(b): band cube[:, :, i] lo, hi band.min(), band.max() if hi - lo 1e-8: # 全零波段直接置零避免除零 out[:, :, i] 0.0 else: out[:, :, i] (band - lo) / (hi - lo) return out逻辑说明逐波段而不是全局归一化是因为不同波段对地物的响应强度不同全局归一化会让弱响应波段被淹没。参数上1e-8是防止死波段导致除零的阈值这个值不要改大改大会把低对比度波段误判为死波段。如果数据本身已经是反射率产品0~1 范围可以把归一化关掉在 config 里设normalize: false。提示数据立方体的波段顺序要和 config 里的num_bands严格一致顺序错了模型照样能训但精度会莫名其妙掉一截这种坑最难查。3. 从零跑通训练环境、配置与第一个 epoch 的验证3.1 环境依赖与版本约束这套源码是纯 Python 实现依赖 PyTorch 生态。常见做法是用 conda 建一个独立环境避免和系统里的包打架。核心依赖如下依赖建议版本说明Python3.8 ~ 3.103.11 以上部分算子兼容性不稳PyTorch1.12 ~ 2.0带 CUDA 版本CPU 也能跑但慢numpy1.21 ~ 1.242.x 有 API 变动慎用scikit-learn1.0用于 Kappa 等指标matplotlib3.5结果可视化安装命令conda create -n hsi_cd python3.9 -y conda activate hsi_cd pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118 pip install numpy1.23 scikit-learn matplotlib pyyaml tqdm参数说明cu118对应 CUDA 11.8如果你的显卡驱动对应的是 12.x换成cu121。没有独显就把整行换成pip install torch torchvision会自动装 CPU 版。numpy 锁在 1.23 是因为 1.24 之后np.float等别名被移除老代码容易报AttributeError。3.2 配置文件逐项解读configs/default.yaml是训练的总控每一项都影响结果data: root: ./data num_bands: 200 # 波段数必须和立方体实际波段一致 patch_size: 15 # 空间邻域窗口奇数 train_ratio: 0.1 # 训练样本比例高光谱标注少通常 5%~20% model: embed_dim: 64 # 自注意力嵌入维度 depth: 4 # 编码器层数 num_heads: 4 # 注意力头数需整除 embed_dim train: epochs: 200 batch_size: 64 lr: 0.001 weight_decay: 0.0001patch_size: 15意味着每个像素取周围 15×15 的空间邻域作为样本这是高光谱分类的常规做法能引入空间上下文。train_ratio: 0.1是因为高光谱逐像素标注成本极高10% 已经算充裕。embed_dim和num_heads必须满足整除关系64/416 是每个头的维度改成 6 个头就会报维度错误。3.3 启动训练与日志判读配置改好后直接跑python train.py --config configs/default.yaml --gpu 0第一个 epoch 结束后重点看三行日志训练 loss、验证 OA、学习率。正常情况 loss 从 0.6 左右开始下降OA 在前 10 个 epoch 快速爬升到 0.8 以上。如果 loss 不动或者变成 nan八成是归一化或学习率的问题先查数据再查模型。# train.py 训练循环核心 for epoch in range(cfg[train][epochs]): model.train() for x1, x2, y in train_loader: x1, x2, y x1.cuda(), x2.cuda(), y.cuda() pred model(x1, x2) loss criterion(pred, y) optimizer.zero_grad() loss.backward() torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm1.0) optimizer.step() oa, kappa evaluate(model, val_loader) scheduler.step(oa) # 按验证精度调整学习率 print(fEpoch {epoch}: loss{loss.item():.4f} OA{oa:.4f} Kappa{kappa:.4f})逻辑说明clip_grad_norm_是梯度裁剪max_norm1.0防止自注意力层梯度爆炸这个在高光谱小样本训练里很关键。scheduler.step(oa)是按验证精度调整学习率精度不涨就降 lr比固定步长更适应小数据集。注意训练样本少的时候验证集和测试集要严格按空间分块划分不能随机按像素划分。相邻像素高度相关随机划分会让验证精度虚高十几个点这是高光谱里最经典的评估陷阱。4. 推理与结果输出变化图生成和精度指标怎么算4.1 推理脚本与变化图输出训练完用predict.py生成整幅变化图python predict.py --config configs/default.yaml \ --checkpoint runs/best.pth \ --output results/change_map.png推理是滑窗方式对每个像素取 patch 预测再拼回整图。results/change_map.png是二值变化图白色为变化、黑色为未变化。同时会输出一个.npy的概率图方便后续做阈值调整。# predict.py 滑窗推理核心 def sliding_predict(model, cube1, cube2, patch_size15): model.eval() h, w, b cube1.shape pad patch_size // 2 c1 np.pad(cube1, ((pad, pad), (pad, pad), (0, 0)), modereflect) c2 np.pad(cube2, ((pad, pad), (pad, pad), (0, 0)), modereflect) prob_map np.zeros((h, w), dtypenp.float32) with torch.no_grad(): for i in range(h): for j in range(w): p1 c1[i:ipatch_size, j:jpatch_size, :] p2 c2[i:ipatch_size, j:jpatch_size, :] t1 torch.from_numpy(p1).permute(2,0,1).unsqueeze(0).cuda() t2 torch.from_numpy(p2).permute(2,0,1).unsqueeze(0).cuda() prob_map[i, j] torch.sigmoid(model(t1, t2)).item() return prob_map逻辑说明modereflect是边缘填充方式比补零更平滑避免边界伪变化。permute(2,0,1)把(H,W,B)转成(B,H,W)这是 PyTorch 卷积层的输入格式要求。逐像素循环在大图上很慢实际用的时候可以按 batch 组织一次推理一批 patch。4.2 精度指标OA、Kappa 与 F1 的取舍变化检测的评估指标不止一个各自反映不同侧面指标含义适用场景OA总体精度正确像素占比类别均衡时参考Kappa剔除随机一致后的精度变化检测论文标配F1变化类的精确率与召回率调和变化像素占比低时更真实AUC概率图排序质量阈值未定时评估高光谱变化检测里变化像素通常只占 5%~15%OA 会被未变化类拉高看着 0.98 很漂亮实际变化类可能一个没检出来。所以看结果优先看 F1 和 KappaOA 只作参考。utils/metrics.py里三个指标都有实现直接调用即可。4.3 阈值选择对结果的影响概率图转二值图需要一个阈值默认 0.5 不一定最优。常见做法是在验证集上扫一遍阈值取 F1 最高的那个best_f1, best_thr 0, 0.5 for thr in np.arange(0.1, 0.9, 0.05): pred (prob_map thr).astype(int) f1 compute_f1(pred, label) if f1 best_f1: best_f1, best_thr f1, thr print(f最佳阈值 {best_thr:.2f}, F1{best_f1:.4f})参数说明扫描范围 0.1~0.9、步长 0.05 是经验值。如果模型输出的概率普遍偏低比如都在 0.3 以下说明训练不充分或者类别极不平衡这时候调阈值只是治标得回去查损失函数要不要加类别权重。5. 避坑与排查训练不收敛、精度虚高、显存爆掉的真实原因5.1 现象loss 一直是 nan第一个 epoch 就崩原因高光谱数据里存在死波段全零或全常数逐波段归一化时除零产生 inf反向传播后变 nan。或者学习率设太大自注意力层的 softmax 溢出。解决在归一化里加1e-8保护源码已有但如果你换了数据集要确认把lr从 0.001 降到 0.0001 试一轮在 loss 计算前加torch.nan_to_num兜底。我一般会先跑一个python -c import numpy as np; dnp.load(data/cube.npy); print(d.min(), d.max(), np.isnan(d).sum())确认数据本身干净。5.2 现象验证 OA 0.99但变化图几乎全黑原因验证集按像素随机划分相邻像素泄漏模型记住了空间位置而不是学到了变化特征。这是高光谱变化检测最常见的评估陷阱。解决改成按空间块划分比如把整图切成 5×5 的块整块进训练或验证。改完后 OA 通常会掉到 0.9 左右但那个数字才是真实的。源码里dataset.py有split_mode参数设成block即可。5.3 现象训练到一半显存爆掉报 CUDA out of memory原因patch_size或batch_size设太大自注意力的显存占用是 patch 面积的平方级增长。15×15 的 patch 和 32×32 的 patch显存差 4 倍以上。解决先把batch_size减半还不行就降patch_size到 11 或 9。另外depth层数也吃显存4 层降到 2 层能省不少。如果显卡只有 6G建议patch_size: 11, batch_size: 32, embed_dim: 32起步。5.4 现象换了数据集后波段数对不上报维度错误原因不同高光谱数据集的波段数不同比如某些数据集是 200 波段某些是 103 波段。config 里的num_bands没改模型第一层卷积就对不上。解决先确认数据立方体的实际 shapeprint(cube.shape)看第三维。然后同步改 config 的num_bands。如果新数据集波段数差异大embed_dim也可以相应调整波段少的时候 32 就够波段多的时候 64 或 128。5.5 现象训练 loss 正常下降但 Kappa 一直上不去原因类别极度不平衡变化像素太少模型倾向于全预测为未变化loss 看着降其实是在偷懒。解决损失函数换成带类别权重的交叉熵或者用 Focal Loss。权重按类别频率的倒数设置变化类权重给到 5~10 倍。源码train.py里criterion那行可以替换nn.CrossEntropyLoss(weighttorch.tensor([1.0, 8.0]).cuda())是常见起点。6. 进阶玩法把自注意力换成多尺度、加注意力可视化与二次开发方向跑通 baseline 之后真正有意思的是改结构看效果。这套源码的模块化做得还行models/attention.py里的注意力模块是独立可替换的想试多尺度自注意力把单尺度换成金字塔结构就行。常见做法是在编码器的不同深度用不同 patch 划分浅层用小 patch 抓细节深层用大 patch 抓全局最后多尺度特征拼接。# 多尺度注意力融合示例 class MultiScaleAttention(nn.Module): def __init__(self, dim, num_heads4, scales(1, 2, 4)): super().__init__() self.branches nn.ModuleList([ nn.MultiheadAttention(dim, num_heads, batch_firstTrue) for _ in scales ]) self.scales scales self.fuse nn.Linear(dim * len(scales), dim) def forward(self, x): # x: (B, N, C) outs [] for s, branch in zip(self.scales, self.branches): if s 1: # 下采样后再做注意力降低计算量 xd F.avg_pool1d(x.transpose(1, 2), s).transpose(1, 2) o, _ branch(xd, xd, xd) o F.interpolate(o.transpose(1, 2), sizex.size(1), modenearest).transpose(1, 2) else: o, _ branch(x, x, x) outs.append(o) return self.fuse(torch.cat(outs, dim-1))逻辑说明avg_pool1d在光谱维度下采样模拟不同尺度的波段聚合。interpolate把下采样后的特征上采样回原长度保证能拼接。fuse层把多尺度特征压回原始维度。参数上scales(1,2,4)是常用组合尺度太多收益递减还费显存。另一个值得做的方向是注意力可视化。把attention.py里 softmax 后的权重矩阵导出来画成热力图能直观看到模型在判断变化时关注了哪些波段。我一般会在验证集上挑几个典型变化像素把它们的注意力权重叠在光谱曲线上看经常能发现模型关注的是植被红边或者水体吸收带这些物理上有意义的波段这种验证比单纯看精度数字有说服力得多。二次开发的话几个低风险高回报的改法换主干为 CNNTransformer 混合、加对比学习预训练、把二分类扩展成多类变化比如从植被变建筑、从水体变裸地。扩展多类只需要改最后分类头输出维度和损失函数数据标签得重新准备。改之前建议先把当前 baseline 的 Kappa 和 F1 记下来任何改动都跟这个数比不然改着改着就不知道是进步还是退步了。从那以后我每次拿到一个新的变化检测源码都强制先跑一遍原始配置、记下 baseline 指标再动任何一行代码。这套孪生自注意力网络的源码结构清晰、依赖干净作为起点比自己从零搭省太多时间。希望帮到你。本文还有配套的精品资源点击获取