文章主要内容和创新点
主要内容
本文针对基于多模态大型语言模型（MLLMs）的自动驾驶（AD）系统，提出了一种名为PhysPatch的对抗性补丁攻击框架。该框架旨在解决现有对抗性补丁方法在MLLMs上效果差、物理可实现性低的问题。
现有方法多针对简单目标检测任务，依赖朴素的PGD优化或忽略内容优化，且难以在AD场景中找到物理可行的补丁位置。PhysPatch通过联合优化补丁的位置、形状和内容，提升攻击效果和实际部署能力：
- 基于语义的掩码初始化策略，确保补丁放置在物理合理区域；
- 结合SVD的局部对齐损失和补丁引导的裁剪缩放策略，提升跨模型迁移性；
- 基于势场的掩码优化方法，细化补丁形状以增强攻击效果。
实验表明，PhysPatch在开源、商用及推理型MLLMs上的攻击成功率、语义对齐度和视觉质量均优于现有方法，且补丁始终位于AD场景的物理可行区域，具有强实际适用性。
创新点
- 提出PhysPatch框架：首个针对MLLMs驱动的自动驾驶系统的物理可部署、可迁移的对抗性补丁攻击框架。
- 语义感知的掩码初始化与自适应势场更新：利用MLLM推理和势场建模识别物理可行的补丁区域，并通过自适应更新优化补丁形状，提升攻击效果和物理真实性。
- 基于SVD的局部对齐损失与补丁引导裁剪策略：通过SVD实现局部特征的最优语义压缩，增强跨模型迁移性；补丁引导的裁剪确保优化过程中补丁始终被包含，缓解梯度消失问题。
- 全面评估：在多种类型MLLMs（开源