NoRecognition 这个名字看起来有点抽象但把它放到“AI 对抗性服装”这个方向里就很好理解了它是一类通过印刷、粘贴或穿戴特殊视觉图案让目标检测、行人识别、人脸识别这类 AI 视觉系统无法稳定识别你的技术实验。这类项目不是做什么“隐身衣”而是对抗样本adversarial examples从数字图像走到物理世界的一种具体应用。文章最值得关注的不是“能不能骗过摄像头”这个噱头而是整个实验如何从模型选择、补丁生成、效果评估一路走到真实打印和物理测试以及过程中哪些变量真正决定了方案稳不稳定。如果你正在研究 AI 模型鲁棒性、对抗机器学习、视觉安全测试或者想找一个能够同时练手 PyTorch 和目标检测模型的小型项目这篇内容可以给你一条比较完整的落地路径。1. 先搞懂对抗性服装到底在做什么1.1 核心不是“隐身衣”而是让模型认不出很多人第一次看到对抗性服装的演示视频第一反应是“这是不是某种特殊材料做的隐身衣”。其实不是。对抗性服装的核心原理是给目标检测模型输入一个经过优化的扰动图案。这个图案通过梯度迭代生成专门针对某个模型的决策边界。当图案覆盖在人体表面后模型在对应区域无法提取到足够的“人”的特征于是表现为漏检、低置信度或者把目标错误分类成其他物体。这类项目的关键词是“对抗补丁”adversarial patch。补丁不是随机画出来的噪点而是通过损失函数和梯度计算逐步调整像素值让模型在特定区域的判断被破坏。比如训练一个目标检测模型时模型会学习到头部、躯干、四肢这些部位的特征组合。对抗补丁的作用就是在这些关键特征区域注入强干扰信号导致模型既找不到候选框又对已有候选框产生极低的置信度。所以“NoRecognition”这个名字可以理解成“识别不到”但它的本质并不是物理上隐藏目标而是让 AI 系统在决策层面失效。1.2 对抗补丁和对抗性服装的关系对抗补丁最初是数字世界的一个矩形区域。你可以把一张 300x300 的补丁贴在一张包含行人的图片上看模型会不会检测不到人。但数字补丁只对那张固定图片有效换一个角度、换一个背景效果可能立刻衰减。对抗性服装做的事情是把补丁从“贴在图片上”升级为“贴在人体上”让它适应真实世界的距离、角度、光照和摄像头成像差异。从实现上讲对抗性服装仍然是“补丁”只是补丁的应用范围更大图案会被打印到 T 恤、外套或大幅贴纸上。为了提升物理世界成功率通常需要把补丁设计得相对平滑、颜色稳定避免过度依赖像素级细节。因为墨水打印、布料褶皱、摄像头传感器差异都会把数字补丁的精细纹理破坏掉。理解了这层关系你就明白为什么很多对抗性服装 Demo 会选择 YOLO 这类实时目标检测模型作为攻击目标YOLO 被广泛用于监控、自动驾驶、边缘设备基于它的实验更容易复现也更容易对比结果。1.3 为什么值得做这个实验从防御视角看对抗性服装暴露了视觉 AI 系统的脆弱性。如果一个人穿着特制图案的 T 恤就能让监控模型漏检那么安防系统在生产环境中就不能盲目信任单模型输出必须加入多角度验证、模型集成、异常输入检测或人工复核机制。开发者在自研检测模型时也可以把这类攻击样本加入测试集用来衡量模型鲁棒性。从学习视角看生成对抗补丁是一个很好的深度学习综合练习。它会涉及图像预处理、模型推理、梯度传播、约束优化、结果量化评估。整个过程和训练一个分类模型非常相似但目标从“让模型预测正确”变成“让模型预测错误”这种反过来的目标能帮你加深对模型决策机制的理解。要强调一下这个方向适合放在受控实验环境、模型安全测试、学术研究和防御训练场景中。它不应该被当成绕过安防、规避监控的手段。真正有价值的产出是暴露问题并推动模型变的更可靠。2. 准备环境先跑通一个图像检测 Demo2.1 硬件和软件建议生成对抗补丁并不需要训练一个大模型所以硬件门槛并不高。CPU可以跑但迭代速度会比较慢。建议先用小尺寸补丁比如 128x128迭代 50 到 100 步。GPU一张 6GB 或 8GB 显存的显卡足够。显存主要消耗在模型推理和反向传播上batch size 不需要太大1 到 4 就可以。内存16GB 是舒服的配置8GB 也能跑但尽量别同时开太多程序。磁盘安装模型权重和数据需要一些空间预留 20GB 足够。软件层面建议使用 Python 3.8 以上版本配合 PyTorch 和 OpenCV。PyTorch 的自动求导机制非常适合做梯度迭代OpenCV 负责图像读取和尺寸调整。目标检测模型不会自己加载还需要安装对应的模型代码和预训练权重。常见选择是 YOLOv5、YOLOv8 或 Faster R-CNN三者都能在公开数据上直接复现。依赖安装可以用最简单的方式pip install torch torchvision opencv-python numpy不同系统和显卡环境需要选择对应版本的 CUDA 版 PyTorch这一步建议先看官方安装命令不要直接复制通用命令到离线环境里。2.2 先跑通检测 Demo再谈攻击我在做这类实验时第一件事从来不是直接写补丁生成代码而是先加载模型跑通一张普通图片的检测流程。这样做的原因很简单对抗补丁的有效性必须和模型输出做对比。如果连正常图片的检测框都得不到后面根本无法判断是补丁没有生效还是模型本身就没识别到目标。一个比较实用的检查流程如下下载预训练模型权重。准备一张包含行人的测试图片分辨率缩放到 640x640。运行模型推理打印输出结果。把检测框画到图片上确认模型确实能检测到人。记录目标框的置信度比如 0.85。这个阶段如果报错大多跟权重路径、图像读取、类别索引有关。先把这些问题处理掉再进入补丁生成会省掉大量调试时间。2.3 准备测试图片和标注生成对抗补丁时如果你只对一张图优化补丁会严重过拟合到那张图的背景、光照和人物姿态。想让补丁在物理世界有用至少要准备一组人物图片。我建议自己拍摄或收集 20 到 30 张包含全身或大半身人物的图片覆盖以下变化背景室内、室外、纯色墙、杂乱背景。角度正面、侧面、斜侧面。距离1 米、2 米、3 米。姿态站立、行走、双手自然下垂。如果你不想自己拍也可以用 COCO 验证集中带 person 类别的图片。但要注意公开数据集的图片通常是别人拍摄的版权和使用范围需要确认。如果只是本地实验学习问题不大如果要发布到博客或论文里尽量使用自己拍摄的数据。图片不需要太大640x640 或 1280x720 就够。模型在推理时通常会把输入缩放到固定尺寸过大反而增加显存消耗。标注信息也不需要复杂的 json 格式重点是记录图片中人的大致中心位置和包围框方便把补丁粘贴到对应区域。3. 生成对抗补丁的核心步骤3.1 确定攻击目标和损失函数生成补丁之前先要明确“攻击成功”的定义。不同定义对应不同损失函数。常见的攻击目标有三种让目标检测框消失。输入图片中有一个人模型输出结果里却没有任何覆盖该人的检测框。让目标框置信度降低。模型仍然输出检测框但置信度从 0.85 降到 0.2低于后处理阈值。让目标被错误分类。模型检测到目标但把人识别成背包、长颈鹿等其他类别。第一种和第二种在实验中更常见。你可以组合使用主损失是降低目标框置信度辅助损失是让模型的分类 logits 偏向某个不相关类别。这样即使置信度没有降到阈值以下分类错误也会让检测系统不可用。损失函数的设计直接影响补丁效果。如果只采用简单的均方误差补丁可能变成一团高频噪点数字环境有效打印后完全无效。比较好的做法是加入平滑正则项比如总变差正则化让补丁相邻像素之间变化更平缓。3.2 一个简化的梯度迭代流程对抗补丁生成本质上是一个优化问题给定一张图片和一个人体区域寻找一个像素图案使得模型在该区域的检测置信度最小。下面是一个简化的 PyTorch 示例用来帮助你理解整体套路。实际项目需要根据模型输出格式做适配。import torch import torch.nn.functional as F class PatchAttacker: def __init__(self, model, input_size(640, 640)): self.model model.eval() self.input_size input_size def apply_patch(self, image, patch, mask, position): # image: [1,3,H,W]已经完成归一化 # patch: [1,3,ph,pw]可训练参数 # mask: [1,1,ph,pw]用于控制补丁形状 # position: (x, y)补丁左上角坐标 x, y position h, w patch.shape[-2:] patched image.clone() patched[:, :, y:yh, x:xw] ( (1 - mask) * patched[:, :, y:yh, x:xw] mask * patch ) return patched def attack(self, image, patch, mask, position, steps200, lr0.01, conf_threshold0.3): patch patch.detach().clone().requires_grad_(True) optimizer torch.optim.Adam([patch], lrlr) for step in range(steps): patched self.apply_patch(image, patch, mask, position) preds self.model(patched) # 需要从 preds 中取到目标检测框的最高置信度 max_conf get_max_confidence(preds) # 目标是让置信度接近 0所以用最小化交叉熵形式 loss F.binary_cross_entropy(max_conf, torch.tensor(0.0)) optimizer.zero_grad() loss.backward() optimizer.step() # 投影到合法像素范围 with torch.no_grad(): patch.data.clamp_(0, 255) return patch这段代码并不完整比如 get_max_confidence 需要你对模型输出做解析图像进入模型之前也需要做归一化和缩放。但核心思路很清晰每一轮迭代都让补丁朝着“降低置信度”的方向更新最后把像素值限制在 RGB 合法范围内。3.3 为什么要做像素值截断和正则化对抗补丁不是无限自由的参数。如果不做约束优化器很容易把像素推到极大或极小值产生肉眼可见的彩色噪点。这样的补丁在屏幕上可能有效但打印出来后墨水扩散和颜色管理会让噪点糊成一片攻击效果大幅下降。所以生成补丁时一定要保证三点像素值范围必须始终在 0 到 255 之间可以每隔几步做一次 clamp或在损失函数里加入范围惩罚。补丁尽量平滑不要出现单像素级别的突变。总变差正则化是常用的手段。补丁尺寸和粘贴位置要固定不能每轮迭代都变化否则优化方向不稳定。如果发现补丁看起来像一团雪花先不要调模型先降低学习率并加入平滑正则。高频噪声通常是学习率过高和缺少约束导致的。3.4 单图有效不等于方案有效很多新手第一次跑通补丁生成看到单张图片检测框消失就特别兴奋。但真实情况是单图攻击成功率可能很高换一张图、换一个角度就会失效。原因就是补丁过拟合到了训练图片的背景和人物姿态。正确的做法是使用多张图片联合优化。每一轮迭代时从训练集里随机选取一张图把同一个补丁贴在不同位置计算平均损失再更新补丁。这样补丁需要同时欺骗多张图泛化性会更好。优化完成后保存补丁然后在你额外留出的测试图片上跑统计结果。不要只看一张图至少要统计 20 张以上图片的漏检率和置信度变化。4. 关键参数和判断标准4.1 补丁尺寸、位置和置信度阈值补丁尺寸是最直观的影响因素。在 640x640 的输入分辨率下200x200 的补丁覆盖面积约为 10%通常会明显影响局部检测但整体攻击成功率不一定高。300x300 的补丁覆盖面积超过 20%对行人检测的攻击效果会明显增强。这里没有绝对标准因为图片中人体区域本身就只占一部分关键要看补丁占人体区域的比例而不是占整张图的比例。补丁位置同样重要。把补丁贴在人体中心模型仍然可以从头部、手臂或腿部提取特征把补丁扩展到整个躯干或者贴在腿部区域攻击效果可能更好。我建议做一组位置对比实验固定补丁图案和尺寸分别在胸前、腹部、大腿位置粘贴统计攻击成功率。不同模型的最优位置会不一样。置信度阈值也决定了攻击成功的判定。很多检测模型默认 conf_thres 为 0.25 或 0.5。如果你把置信度从 0.9 降到 0.3在阈值为 0.25 时攻击其实没有成功。写报告或博客时一定要说明你用的是哪个阈值。4.2 用哪些指标衡量攻击效果直接列一个表格方便对照指标含义观察方式检测框数量模型输出目标框的个数攻击前大于等于 1攻击后越少越好目标框置信度模型对人体的信心水平攻击后是否低于后处理阈值漏检率测试集中没有覆盖人体的图片比例越高说明攻击越有效分类错误率模型检测到目标但分类错误攻击后变成其他类也算干扰成功攻击稳定性同一补丁在不同图片上的效果一致性漏检率波动越小越好只看单一指标很容易误判。比如补丁成功让置信度从 0.95 变成 0.4但部署系统阈值是 0.2那生产环境里攻击可能完全没有效果。反过来有些模型输出多个框其中一个框置信度很低但另一个框置信度仍然很高这也不算成功。4.3 参数调整的边界和取舍补丁面积增大攻击成功率通常会上升但物理可打印性下降。补丁图案越复杂打印后细节丢失越严重。迭代步数增加对训练图片的效果更好但泛化性可能变差。学习率过大loss 曲线震荡补丁变成噪点学习率过小收敛很慢。我给出的一个比较实用的参数组合起点是补丁尺寸300x300输入分辨率640x640学习率0.01迭代步数200优化器Adam损失置信度二分类损失 总变差正则拿到这个起点后先在小规模测试集上跑通再逐步调整。不要一上来就追求“最强攻击”先把一个参数变量固定下来逐个实验。5. 从数字补丁到物理服装打印、贴图和实拍5.1 数字环境和物理世界的关键差异对抗补丁在数字图片上有效不意味着打印成 T 恤后依然有效。这里面的差异非常大几乎所有参与实验的人都会在物理阶段被打击一遍。首先是颜色差异。屏幕显示的是 RGB 发光颜色打印使用的是油墨或墨水不同打印机的色域差别很大。补丁里某些关键颜色可能打印出来偏暗或偏色导致特征干扰失效。其次是分辨率损失数字补丁里的高频细节在打印后可能变成模糊色块。再次是褶皱和变形衣服穿在人身上不可能完全平整补丁图案会被拉伸、折叠产生模型没见过的新形状。最后是环境光。室内灯光、户外阳光、蓝绿滤镜都会影响摄像头捕捉到的像素值。模型训练时使用的数据分布与物理世界实拍存在很大 gap。5.2 打印和贴片实验的正确姿势如果只想做受控实验不用一开始就做服装定制。比较简单的方式是把补丁打印到 A4 贴纸或热转印纸上。将补丁平整贴在白 T 恤或纯色上衣上。固定相机位置分别拍摄 1 米、2 米、3 米距离。每段距离拍摄正身、侧身、斜侧身三组。同一组环境下拍摄不穿对抗服装的对照组。拍摄时尽量用三脚架或固定支架避免手抖造成的运动模糊。运动模糊对对抗补丁影响很大因为模糊会让补丁纹理平滑化攻击效果下降。这里有一个更稳妥的中间步骤先不打印把补丁显示在屏幕上然后用摄像头对着屏幕拍摄。这样做可以排除一部分打印色差帮你判断是补丁本身的问题还是打印工艺的问题。如果屏幕拍摄有效、打印件无效那问题基本出在印刷和材质上。5.3 物理测试中最容易翻车的地方距离过远。3 米外人物在画面里可能只占 100x200 像素300x300 的补丁也被缩小到几十像素效果自然差。角度倾斜。侧面视角下补丁被透视压缩图案比例发生改变。光照过强。强光会造成高光区域白色补丁被过曝。衣服褶皱。补丁图案断裂成几块模型可能利用未被覆盖的区域恢复检测。摄像头自动白平衡。不同场景下颜色被修正补丁颜色偏移。遇到这些问题优先调整实验条件而不是继续加大补丁面积或迭代步数。先把物理变量控制住比如使用固定光源、固定距离、不反光材质再逐步增加挑战难度。6. 常见报错与排查链路6.1 生成阶段常见报错补丁生成阶段的报错很多时候不是代码问题而是模型输出格式和预处理不一致。我遇到过的情况大概有几类显存不足。输入分辨率太大或 batch size 太大减小到 1 再试。梯度为 None。模型处于 eval 模式下部分层可能不保留梯度或者你从模型输出中取的数值没有经过可导运算。类别索引错误。YOLO 的类别索引和 COCO 原始索引可能不同需要确认 person 对应的 id。补丁粘贴越界。图像边缘位置加上补丁高度超过了原图边界报 shape mismatch。loss 不下降。学习率太低或者检测置信度被固定在某个值上需要检查拉取目标置信度的方式。6.2 补丁有效但物理测试无效这是最让人头疼的情况。数字环境下成功率 90%物理环境下只有 20%。按下面顺序排查先看打印质量。把打印件放在固定光源下用手机近距离拍一张和数字补丁做对比。颜色是否明显偏色高频纹理是否糊掉。如果打印件和数字图差异太大问题在打印环节。再看摄像头和预处理。摄像头拍摄时程序有没有把图像压缩、裁剪、调亮度如果做测试时先保存视频再抽帧注意编码和缩放可能改变颜色分布。再看模型推理阈值。物理拍摄时模型输出的置信度可能刚好在阈值边缘。把 conf_thres 从 0.25 调到 0.1再观察检测框是否恢复。如果在低阈值下检测框恢复说明补丁只是降低了置信度并没有真正破坏检测特征。最后看贴片位置。人体不同位置对检测的影响差异很大同一块补丁贴在胸部和贴在腿部效果完全不同。物理测试要复现数字测试时的相对位置。6.3 一套通用排查顺序遇到问题不要着急改参数先按这个链路走一遍看现象是直接报错还是模型输出异常还是补丁看起来有效但实际效果不稳定。看输入图片路径、尺寸、预处理、归一化、补丁粘贴位置是否一致。看环境依赖版本、CUDA 是否可用、模型权重路径、文件权限。看参数学习率、迭代步数、补丁尺寸、正则权重、置信度阈值。看工具本身模型版本是否换了接口后处理逻辑是否匹配。这套顺序基本覆盖了大多数问题。很多时候你以为是模型不收敛实际上是输入图片根本没有经过正确的预处理模型看到的是一团错误像素。7. 学习路径和落地建议7.1 如果只是想理解对抗样本原理不建议直接进入物理打印阶段。先把数字流程跑通用 COCO 或自己的图片做实验。你可以先固定一张图片生成补丁然后观察补丁图案的变化。再尝试把补丁贴到不同的人体位置记录置信度变化。这个过程能帮你建立对损失函数、梯度更新、像素约束的直觉。在数字实验阶段你还可以尝试不同攻击目标让模型漏检、让模型误分类、让置信度轻微下降。每换一个目标补丁图案和效果都会不同。多玩几组比看十篇论文都管用。7.2 如果要做模型鲁棒性研究把对抗性服装当作鲁棒性测试的一部分。比如你可以构建一个包含普通行人图片和穿对抗服装行人图片的测试集分别评测不同检测模型的漏检率。也可以在模型训练时加入对抗补丁作为数据增强观察最终模型的鲁棒性是否提升。这种思路比单纯“把补丁调得更强”更有工程价值。做测试时要注意实验的可复现性。固定随机种子、固定图片尺寸、固定模型权重、固定推理阈值并把所有参数记录在配置文件中。否则过两周你再回来看结果根本不知道当时用了哪套设置。7.3 最后提醒对抗性服装最大的意义不是“让AI认不出你”而是帮助我们理解 AI 视觉系统在物理世界的真实脆弱性。当一个系统被部署到摄像头、门禁、监控、自动驾驶等场景时它面临的输入远比测试集复杂。通过这类实验你可以提前发现模型可能被干扰的环节然后从多角度检测、模型集成、对抗训练或异常输入检测等方向去加固系统。从学习到正规实验我个人的建议是先把数字环境下的单图片跑稳再扩展多图片测试最后再做物理打印。每一步都要把变量控制住记录清楚。如果你能在一个受控环境里把补丁的攻击成功率稳定地复现出来比做出一个“看起来很强”但不稳定的 Demo 有价值得多。真正落地时决定方案能不能用的往往不是最高攻击成功率而是遇光照、角度、距离变化后的稳定性以及你能否把失败原因准确排查出来。 对抗性服装与对抗补丁：目标检测模型鲁棒性实战解析
NoRecognition 这个名字看起来有点抽象但把它放到“AI 对抗性服装”这个方向里就很好理解了它是一类通过印刷、粘贴或穿戴特殊视觉图案让目标检测、行人识别、人脸识别这类 AI 视觉系统无法稳定识别你的技术实验。这类项目不是做什么“隐身衣”而是对抗样本adversarial examples从数字图像走到物理世界的一种具体应用。文章最值得关注的不是“能不能骗过摄像头”这个噱头而是整个实验如何从模型选择、补丁生成、效果评估一路走到真实打印和物理测试以及过程中哪些变量真正决定了方案稳不稳定。如果你正在研究 AI 模型鲁棒性、对抗机器学习、视觉安全测试或者想找一个能够同时练手 PyTorch 和目标检测模型的小型项目这篇内容可以给你一条比较完整的落地路径。1. 先搞懂对抗性服装到底在做什么1.1 核心不是“隐身衣”而是让模型认不出很多人第一次看到对抗性服装的演示视频第一反应是“这是不是某种特殊材料做的隐身衣”。其实不是。对抗性服装的核心原理是给目标检测模型输入一个经过优化的扰动图案。这个图案通过梯度迭代生成专门针对某个模型的决策边界。当图案覆盖在人体表面后模型在对应区域无法提取到足够的“人”的特征于是表现为漏检、低置信度或者把目标错误分类成其他物体。这类项目的关键词是“对抗补丁”adversarial patch。补丁不是随机画出来的噪点而是通过损失函数和梯度计算逐步调整像素值让模型在特定区域的判断被破坏。比如训练一个目标检测模型时模型会学习到头部、躯干、四肢这些部位的特征组合。对抗补丁的作用就是在这些关键特征区域注入强干扰信号导致模型既找不到候选框又对已有候选框产生极低的置信度。所以“NoRecognition”这个名字可以理解成“识别不到”但它的本质并不是物理上隐藏目标而是让 AI 系统在决策层面失效。1.2 对抗补丁和对抗性服装的关系对抗补丁最初是数字世界的一个矩形区域。你可以把一张 300x300 的补丁贴在一张包含行人的图片上看模型会不会检测不到人。但数字补丁只对那张固定图片有效换一个角度、换一个背景效果可能立刻衰减。对抗性服装做的事情是把补丁从“贴在图片上”升级为“贴在人体上”让它适应真实世界的距离、角度、光照和摄像头成像差异。从实现上讲对抗性服装仍然是“补丁”只是补丁的应用范围更大图案会被打印到 T 恤、外套或大幅贴纸上。为了提升物理世界成功率通常需要把补丁设计得相对平滑、颜色稳定避免过度依赖像素级细节。因为墨水打印、布料褶皱、摄像头传感器差异都会把数字补丁的精细纹理破坏掉。理解了这层关系你就明白为什么很多对抗性服装 Demo 会选择 YOLO 这类实时目标检测模型作为攻击目标YOLO 被广泛用于监控、自动驾驶、边缘设备基于它的实验更容易复现也更容易对比结果。1.3 为什么值得做这个实验从防御视角看对抗性服装暴露了视觉 AI 系统的脆弱性。如果一个人穿着特制图案的 T 恤就能让监控模型漏检那么安防系统在生产环境中就不能盲目信任单模型输出必须加入多角度验证、模型集成、异常输入检测或人工复核机制。开发者在自研检测模型时也可以把这类攻击样本加入测试集用来衡量模型鲁棒性。从学习视角看生成对抗补丁是一个很好的深度学习综合练习。它会涉及图像预处理、模型推理、梯度传播、约束优化、结果量化评估。整个过程和训练一个分类模型非常相似但目标从“让模型预测正确”变成“让模型预测错误”这种反过来的目标能帮你加深对模型决策机制的理解。要强调一下这个方向适合放在受控实验环境、模型安全测试、学术研究和防御训练场景中。它不应该被当成绕过安防、规避监控的手段。真正有价值的产出是暴露问题并推动模型变的更可靠。2. 准备环境先跑通一个图像检测 Demo2.1 硬件和软件建议生成对抗补丁并不需要训练一个大模型所以硬件门槛并不高。CPU可以跑但迭代速度会比较慢。建议先用小尺寸补丁比如 128x128迭代 50 到 100 步。GPU一张 6GB 或 8GB 显存的显卡足够。显存主要消耗在模型推理和反向传播上batch size 不需要太大1 到 4 就可以。内存16GB 是舒服的配置8GB 也能跑但尽量别同时开太多程序。磁盘安装模型权重和数据需要一些空间预留 20GB 足够。软件层面建议使用 Python 3.8 以上版本配合 PyTorch 和 OpenCV。PyTorch 的自动求导机制非常适合做梯度迭代OpenCV 负责图像读取和尺寸调整。目标检测模型不会自己加载还需要安装对应的模型代码和预训练权重。常见选择是 YOLOv5、YOLOv8 或 Faster R-CNN三者都能在公开数据上直接复现。依赖安装可以用最简单的方式pip install torch torchvision opencv-python numpy不同系统和显卡环境需要选择对应版本的 CUDA 版 PyTorch这一步建议先看官方安装命令不要直接复制通用命令到离线环境里。2.2 先跑通检测 Demo再谈攻击我在做这类实验时第一件事从来不是直接写补丁生成代码而是先加载模型跑通一张普通图片的检测流程。这样做的原因很简单对抗补丁的有效性必须和模型输出做对比。如果连正常图片的检测框都得不到后面根本无法判断是补丁没有生效还是模型本身就没识别到目标。一个比较实用的检查流程如下下载预训练模型权重。准备一张包含行人的测试图片分辨率缩放到 640x640。运行模型推理打印输出结果。把检测框画到图片上确认模型确实能检测到人。记录目标框的置信度比如 0.85。这个阶段如果报错大多跟权重路径、图像读取、类别索引有关。先把这些问题处理掉再进入补丁生成会省掉大量调试时间。2.3 准备测试图片和标注生成对抗补丁时如果你只对一张图优化补丁会严重过拟合到那张图的背景、光照和人物姿态。想让补丁在物理世界有用至少要准备一组人物图片。我建议自己拍摄或收集 20 到 30 张包含全身或大半身人物的图片覆盖以下变化背景室内、室外、纯色墙、杂乱背景。角度正面、侧面、斜侧面。距离1 米、2 米、3 米。姿态站立、行走、双手自然下垂。如果你不想自己拍也可以用 COCO 验证集中带 person 类别的图片。但要注意公开数据集的图片通常是别人拍摄的版权和使用范围需要确认。如果只是本地实验学习问题不大如果要发布到博客或论文里尽量使用自己拍摄的数据。图片不需要太大640x640 或 1280x720 就够。模型在推理时通常会把输入缩放到固定尺寸过大反而增加显存消耗。标注信息也不需要复杂的 json 格式重点是记录图片中人的大致中心位置和包围框方便把补丁粘贴到对应区域。3. 生成对抗补丁的核心步骤3.1 确定攻击目标和损失函数生成补丁之前先要明确“攻击成功”的定义。不同定义对应不同损失函数。常见的攻击目标有三种让目标检测框消失。输入图片中有一个人模型输出结果里却没有任何覆盖该人的检测框。让目标框置信度降低。模型仍然输出检测框但置信度从 0.85 降到 0.2低于后处理阈值。让目标被错误分类。模型检测到目标但把人识别成背包、长颈鹿等其他类别。第一种和第二种在实验中更常见。你可以组合使用主损失是降低目标框置信度辅助损失是让模型的分类 logits 偏向某个不相关类别。这样即使置信度没有降到阈值以下分类错误也会让检测系统不可用。损失函数的设计直接影响补丁效果。如果只采用简单的均方误差补丁可能变成一团高频噪点数字环境有效打印后完全无效。比较好的做法是加入平滑正则项比如总变差正则化让补丁相邻像素之间变化更平缓。3.2 一个简化的梯度迭代流程对抗补丁生成本质上是一个优化问题给定一张图片和一个人体区域寻找一个像素图案使得模型在该区域的检测置信度最小。下面是一个简化的 PyTorch 示例用来帮助你理解整体套路。实际项目需要根据模型输出格式做适配。import torch import torch.nn.functional as F class PatchAttacker: def __init__(self, model, input_size(640, 640)): self.model model.eval() self.input_size input_size def apply_patch(self, image, patch, mask, position): # image: [1,3,H,W]已经完成归一化 # patch: [1,3,ph,pw]可训练参数 # mask: [1,1,ph,pw]用于控制补丁形状 # position: (x, y)补丁左上角坐标 x, y position h, w patch.shape[-2:] patched image.clone() patched[:, :, y:yh, x:xw] ( (1 - mask) * patched[:, :, y:yh, x:xw] mask * patch ) return patched def attack(self, image, patch, mask, position, steps200, lr0.01, conf_threshold0.3): patch patch.detach().clone().requires_grad_(True) optimizer torch.optim.Adam([patch], lrlr) for step in range(steps): patched self.apply_patch(image, patch, mask, position) preds self.model(patched) # 需要从 preds 中取到目标检测框的最高置信度 max_conf get_max_confidence(preds) # 目标是让置信度接近 0所以用最小化交叉熵形式 loss F.binary_cross_entropy(max_conf, torch.tensor(0.0)) optimizer.zero_grad() loss.backward() optimizer.step() # 投影到合法像素范围 with torch.no_grad(): patch.data.clamp_(0, 255) return patch这段代码并不完整比如 get_max_confidence 需要你对模型输出做解析图像进入模型之前也需要做归一化和缩放。但核心思路很清晰每一轮迭代都让补丁朝着“降低置信度”的方向更新最后把像素值限制在 RGB 合法范围内。3.3 为什么要做像素值截断和正则化对抗补丁不是无限自由的参数。如果不做约束优化器很容易把像素推到极大或极小值产生肉眼可见的彩色噪点。这样的补丁在屏幕上可能有效但打印出来后墨水扩散和颜色管理会让噪点糊成一片攻击效果大幅下降。所以生成补丁时一定要保证三点像素值范围必须始终在 0 到 255 之间可以每隔几步做一次 clamp或在损失函数里加入范围惩罚。补丁尽量平滑不要出现单像素级别的突变。总变差正则化是常用的手段。补丁尺寸和粘贴位置要固定不能每轮迭代都变化否则优化方向不稳定。如果发现补丁看起来像一团雪花先不要调模型先降低学习率并加入平滑正则。高频噪声通常是学习率过高和缺少约束导致的。3.4 单图有效不等于方案有效很多新手第一次跑通补丁生成看到单张图片检测框消失就特别兴奋。但真实情况是单图攻击成功率可能很高换一张图、换一个角度就会失效。原因就是补丁过拟合到了训练图片的背景和人物姿态。正确的做法是使用多张图片联合优化。每一轮迭代时从训练集里随机选取一张图把同一个补丁贴在不同位置计算平均损失再更新补丁。这样补丁需要同时欺骗多张图泛化性会更好。优化完成后保存补丁然后在你额外留出的测试图片上跑统计结果。不要只看一张图至少要统计 20 张以上图片的漏检率和置信度变化。4. 关键参数和判断标准4.1 补丁尺寸、位置和置信度阈值补丁尺寸是最直观的影响因素。在 640x640 的输入分辨率下200x200 的补丁覆盖面积约为 10%通常会明显影响局部检测但整体攻击成功率不一定高。300x300 的补丁覆盖面积超过 20%对行人检测的攻击效果会明显增强。这里没有绝对标准因为图片中人体区域本身就只占一部分关键要看补丁占人体区域的比例而不是占整张图的比例。补丁位置同样重要。把补丁贴在人体中心模型仍然可以从头部、手臂或腿部提取特征把补丁扩展到整个躯干或者贴在腿部区域攻击效果可能更好。我建议做一组位置对比实验固定补丁图案和尺寸分别在胸前、腹部、大腿位置粘贴统计攻击成功率。不同模型的最优位置会不一样。置信度阈值也决定了攻击成功的判定。很多检测模型默认 conf_thres 为 0.25 或 0.5。如果你把置信度从 0.9 降到 0.3在阈值为 0.25 时攻击其实没有成功。写报告或博客时一定要说明你用的是哪个阈值。4.2 用哪些指标衡量攻击效果直接列一个表格方便对照指标含义观察方式检测框数量模型输出目标框的个数攻击前大于等于 1攻击后越少越好目标框置信度模型对人体的信心水平攻击后是否低于后处理阈值漏检率测试集中没有覆盖人体的图片比例越高说明攻击越有效分类错误率模型检测到目标但分类错误攻击后变成其他类也算干扰成功攻击稳定性同一补丁在不同图片上的效果一致性漏检率波动越小越好只看单一指标很容易误判。比如补丁成功让置信度从 0.95 变成 0.4但部署系统阈值是 0.2那生产环境里攻击可能完全没有效果。反过来有些模型输出多个框其中一个框置信度很低但另一个框置信度仍然很高这也不算成功。4.3 参数调整的边界和取舍补丁面积增大攻击成功率通常会上升但物理可打印性下降。补丁图案越复杂打印后细节丢失越严重。迭代步数增加对训练图片的效果更好但泛化性可能变差。学习率过大loss 曲线震荡补丁变成噪点学习率过小收敛很慢。我给出的一个比较实用的参数组合起点是补丁尺寸300x300输入分辨率640x640学习率0.01迭代步数200优化器Adam损失置信度二分类损失 总变差正则拿到这个起点后先在小规模测试集上跑通再逐步调整。不要一上来就追求“最强攻击”先把一个参数变量固定下来逐个实验。5. 从数字补丁到物理服装打印、贴图和实拍5.1 数字环境和物理世界的关键差异对抗补丁在数字图片上有效不意味着打印成 T 恤后依然有效。这里面的差异非常大几乎所有参与实验的人都会在物理阶段被打击一遍。首先是颜色差异。屏幕显示的是 RGB 发光颜色打印使用的是油墨或墨水不同打印机的色域差别很大。补丁里某些关键颜色可能打印出来偏暗或偏色导致特征干扰失效。其次是分辨率损失数字补丁里的高频细节在打印后可能变成模糊色块。再次是褶皱和变形衣服穿在人身上不可能完全平整补丁图案会被拉伸、折叠产生模型没见过的新形状。最后是环境光。室内灯光、户外阳光、蓝绿滤镜都会影响摄像头捕捉到的像素值。模型训练时使用的数据分布与物理世界实拍存在很大 gap。5.2 打印和贴片实验的正确姿势如果只想做受控实验不用一开始就做服装定制。比较简单的方式是把补丁打印到 A4 贴纸或热转印纸上。将补丁平整贴在白 T 恤或纯色上衣上。固定相机位置分别拍摄 1 米、2 米、3 米距离。每段距离拍摄正身、侧身、斜侧身三组。同一组环境下拍摄不穿对抗服装的对照组。拍摄时尽量用三脚架或固定支架避免手抖造成的运动模糊。运动模糊对对抗补丁影响很大因为模糊会让补丁纹理平滑化攻击效果下降。这里有一个更稳妥的中间步骤先不打印把补丁显示在屏幕上然后用摄像头对着屏幕拍摄。这样做可以排除一部分打印色差帮你判断是补丁本身的问题还是打印工艺的问题。如果屏幕拍摄有效、打印件无效那问题基本出在印刷和材质上。5.3 物理测试中最容易翻车的地方距离过远。3 米外人物在画面里可能只占 100x200 像素300x300 的补丁也被缩小到几十像素效果自然差。角度倾斜。侧面视角下补丁被透视压缩图案比例发生改变。光照过强。强光会造成高光区域白色补丁被过曝。衣服褶皱。补丁图案断裂成几块模型可能利用未被覆盖的区域恢复检测。摄像头自动白平衡。不同场景下颜色被修正补丁颜色偏移。遇到这些问题优先调整实验条件而不是继续加大补丁面积或迭代步数。先把物理变量控制住比如使用固定光源、固定距离、不反光材质再逐步增加挑战难度。6. 常见报错与排查链路6.1 生成阶段常见报错补丁生成阶段的报错很多时候不是代码问题而是模型输出格式和预处理不一致。我遇到过的情况大概有几类显存不足。输入分辨率太大或 batch size 太大减小到 1 再试。梯度为 None。模型处于 eval 模式下部分层可能不保留梯度或者你从模型输出中取的数值没有经过可导运算。类别索引错误。YOLO 的类别索引和 COCO 原始索引可能不同需要确认 person 对应的 id。补丁粘贴越界。图像边缘位置加上补丁高度超过了原图边界报 shape mismatch。loss 不下降。学习率太低或者检测置信度被固定在某个值上需要检查拉取目标置信度的方式。6.2 补丁有效但物理测试无效这是最让人头疼的情况。数字环境下成功率 90%物理环境下只有 20%。按下面顺序排查先看打印质量。把打印件放在固定光源下用手机近距离拍一张和数字补丁做对比。颜色是否明显偏色高频纹理是否糊掉。如果打印件和数字图差异太大问题在打印环节。再看摄像头和预处理。摄像头拍摄时程序有没有把图像压缩、裁剪、调亮度如果做测试时先保存视频再抽帧注意编码和缩放可能改变颜色分布。再看模型推理阈值。物理拍摄时模型输出的置信度可能刚好在阈值边缘。把 conf_thres 从 0.25 调到 0.1再观察检测框是否恢复。如果在低阈值下检测框恢复说明补丁只是降低了置信度并没有真正破坏检测特征。最后看贴片位置。人体不同位置对检测的影响差异很大同一块补丁贴在胸部和贴在腿部效果完全不同。物理测试要复现数字测试时的相对位置。6.3 一套通用排查顺序遇到问题不要着急改参数先按这个链路走一遍看现象是直接报错还是模型输出异常还是补丁看起来有效但实际效果不稳定。看输入图片路径、尺寸、预处理、归一化、补丁粘贴位置是否一致。看环境依赖版本、CUDA 是否可用、模型权重路径、文件权限。看参数学习率、迭代步数、补丁尺寸、正则权重、置信度阈值。看工具本身模型版本是否换了接口后处理逻辑是否匹配。这套顺序基本覆盖了大多数问题。很多时候你以为是模型不收敛实际上是输入图片根本没有经过正确的预处理模型看到的是一团错误像素。7. 学习路径和落地建议7.1 如果只是想理解对抗样本原理不建议直接进入物理打印阶段。先把数字流程跑通用 COCO 或自己的图片做实验。你可以先固定一张图片生成补丁然后观察补丁图案的变化。再尝试把补丁贴到不同的人体位置记录置信度变化。这个过程能帮你建立对损失函数、梯度更新、像素约束的直觉。在数字实验阶段你还可以尝试不同攻击目标让模型漏检、让模型误分类、让置信度轻微下降。每换一个目标补丁图案和效果都会不同。多玩几组比看十篇论文都管用。7.2 如果要做模型鲁棒性研究把对抗性服装当作鲁棒性测试的一部分。比如你可以构建一个包含普通行人图片和穿对抗服装行人图片的测试集分别评测不同检测模型的漏检率。也可以在模型训练时加入对抗补丁作为数据增强观察最终模型的鲁棒性是否提升。这种思路比单纯“把补丁调得更强”更有工程价值。做测试时要注意实验的可复现性。固定随机种子、固定图片尺寸、固定模型权重、固定推理阈值并把所有参数记录在配置文件中。否则过两周你再回来看结果根本不知道当时用了哪套设置。7.3 最后提醒对抗性服装最大的意义不是“让AI认不出你”而是帮助我们理解 AI 视觉系统在物理世界的真实脆弱性。当一个系统被部署到摄像头、门禁、监控、自动驾驶等场景时它面临的输入远比测试集复杂。通过这类实验你可以提前发现模型可能被干扰的环节然后从多角度检测、模型集成、对抗训练或异常输入检测等方向去加固系统。从学习到正规实验我个人的建议是先把数字环境下的单图片跑稳再扩展多图片测试最后再做物理打印。每一步都要把变量控制住记录清楚。如果你能在一个受控环境里把补丁的攻击成功率稳定地复现出来比做出一个“看起来很强”但不稳定的 Demo 有价值得多。真正落地时决定方案能不能用的往往不是最高攻击成功率而是遇光照、角度、距离变化后的稳定性以及你能否把失败原因准确排查出来。