1. 项目概述当AI学会“看见”并“修复”视觉瑕疵最近在折腾一个挺有意思的项目核心目标就藏在标题里让视觉语言模型和扩散模型真正理解并修复图像中的“视觉瑕疵”。听起来有点抽象我换个说法你可能就明白了你有没有遇到过用AI生成的图片人物手指多了一根或者背景的纹理糊成一团又或者光影逻辑完全不对这些在AI眼里可能“完美”的图片在我们人类看来就是明显的“瑕疵”或“不合理之处”。传统的模型训练往往依赖于大量标注好的“好图”和“坏图”对但这类数据稀缺且标注成本极高。我们这个项目就是想绕开这个瓶颈通过一种名为“智能体数据合成”的方法让模型自己学会“看见”问题并“学会”如何修正它。这不仅仅是图像修复技术的简单迭代。它触及了当前多模态AI特别是文生图模型的一个核心痛点模型对生成结果的“审美”和“合理性”判断与人类存在鸿沟。模型可能根据“一个在公园长椅上微笑的女人”这个提示词生成一张构图、色彩都不错的图但仔细看女人的手臂可能以反关节的姿势扭曲着。模型自己并不认为这是个问题因为它从训练数据中学到的“合理性”边界是模糊的。我们的工作就是试图给模型建立一个更精确、更接近人类感知的“合理性”判别与修正系统。这里涉及几个关键角色VLMs负责“看见”并“理解”瑕疵用自然语言描述问题所在Diffusion Models是执行“修复”动作的画家而Agentic Data Synthesis则是驱动整个流程的“导演”和“教练”。它模拟一个智能体的决策过程主动地、有策略地制造出包含各种可控瑕疵的图片并生成对应的修复指令从而合成出海量的、高质量的“问题-修复”训练数据对。最终我们希望得到一个能自我审视、自我完善的生成模型或者一个强大的、理解力深入的视觉修复助手。2. 核心思路拆解从被动学习到主动创造的范式转变要理解这个项目的价值得先看看我们过去是怎么做的。传统方法无论是训练一个瑕疵检测模型还是一个图像修复模型都极度依赖标注数据。你需要雇人海量的标注员在成千上万的图片上框出哪里模糊了、哪里多了一块、哪里结构错了然后再标注出正确的样子是什么。这个过程费时、费力、费钱而且标注质量参差不齐更重要的是它覆盖的瑕疵类型是有限的标注员能想到的、能描述清楚的瑕疵只是真实世界瑕疵的冰山一角。我们这个项目的核心思路就是一场范式转变从“收集-标注-学习”的被动模式转向“创造-诊断-学习”的主动模式。我们不再等待瑕疵自然出现并被标注而是主动地、系统性地“制造”瑕疵。2.1 为什么是“智能体数据合成”“智能体”这个词在这里非常贴切。你可以把它想象成一个在数字画室里捣乱的、但又目的明确的“小精灵”。这个小精灵智能体有一套自己的行为策略目标驱动它的目标不是破坏而是为了教学。它要制造出“有教学意义的瑕疵”。感知环境它能“看到”一张正常的图片无论是真实照片还是AI生成的图。执行动作它根据策略对图片进行一系列可控的修改操作比如扭曲一只手部关节、在背景中复制粘贴一块重复的纹理、让物体的阴影方向与光源矛盾、在文字区域产生乱码等。观察结果制造瑕疵后它需要能描述这个瑕疵。这里就引入了VLM。智能体把“原图”和“瑕疵图”一起喂给VLM并提问“第二张图相对于第一张图在视觉上有哪些不合理或错误的地方” VLM会生成一个文本描述例如“人物的左手小指出现了不自然的弯曲疑似多了一个关节。”生成修复指令基于VLM的描述智能体或另一个文本生成模块将其转化为一个修复指令例如“请将左手小指恢复到自然的弯曲状态消除多余的关节。”记录数据对至此我们就合成了一条完美的训练数据{瑕疵图片 修复指令 目标图片原图}。这里的“目标图片”就是修复应该达到的标准答案。这个循环可以自动化、大规模地运行。智能体的策略可以非常丰富从简单的几何变形到复杂的语义矛盾插入比如给狗加上猫的耳朵从而生成覆盖范围极广的瑕疵类型数据集。这才是“数据合成”的威力所在——我们不是在随机污染图片而是在进行有教育意义的、可控的“破坏”。2.2 VLM与Diffusion Model的角色再定义在这个框架下VLM和Diffusion Model的角色被赋予了新的内涵。VLM从描述者到诊断医生。传统的VLM应用多是“看图说话”描述图片里有什么。在这里VLM的任务升级为“对比诊断”。它需要比较两张高度相似的图片找出那细微的、不合理的差异并用精准的语言定位问题。这要求VLM具备更强的细粒度理解能力和逻辑推理能力。它不能只说“手部奇怪”而需要说出“左手第三指节逆向弯曲了15度左右”。Diffusion Model从生成者到外科医生。传统的文生图模型是从噪声或文本生成全新图片。在这里Diffusion Model更像一个接受精确指令的外科医生。它的输入是“瑕疵图片”和一条非常具体的“修复指令”如“矫正左手第三指节的弯曲”输出是在尽量保留其他所有信息的前提下精准修正指定问题的图片。这要求模型具备高质量的图像编辑能力和指令遵循能力而不是天马行空地重新生成。这个项目本质上是在构建一个闭环用Agent制造数据用数据训练VLM使其诊断更准用数据训练Diffusion Model使其修复更精。而更准的诊断和更精的修复又能反过来帮助Agent设计出更复杂、更有挑战性的瑕疵从而形成数据飞轮。3. 系统架构设计与关键技术点要把这个想法落地需要一个精心设计的系统架构。整个流程可以分解为三个核心模块瑕疵合成智能体、视觉诊断模块和指令修复模块。3.1 瑕疵合成智能体的设计策略这是系统的发动机。智能体的设计直接决定了合成数据的质量和多样性。我们不能让它胡乱修改那样生成的瑕疵可能毫无意义或者过于简单/复杂。策略一分层级瑕疵注入我将瑕疵分为三个层级由易到难确保数据集的渐进性低级感知瑕疵模拟图像采集或压缩过程产生的问题。例如高斯模糊、块状伪影JPEG压缩、色彩噪声、亮度突变。智能体可以随机选择区域、随机选择强度施加这些滤镜。这类瑕疵的修复指令相对简单如“消除背景中的块状马赛克”。中级几何/结构瑕疵针对图像中物体的形状、结构进行破坏。这是当前AI生图问题的重灾区。具体操作包括局部扭曲使用薄板样条插值TPS或网格变形对特定区域如手、脚、面部器官进行非刚性变形。逻辑错误制造物理上不可能的连接如让杯子把手悬浮在空中或制造透视错误如一个物体的远近两部分大小比例失调。重复或缺失复制粘贴物体的某一部分如多一根手指或使用修复模型如LaMa随机擦除物体的一部分。高级语义瑕疵制造符合语法但违背常识或视觉逻辑的内容。这最具挑战性也需要最精细的控制。例如属性矛盾给一个穿着西装的人生成一双沙滩拖鞋。关系错乱让一个人“拿着”一个球但手和球之间没有接触阴影或正确的握持姿势。上下文不符在沙漠场景中生成一个穿着厚厚羽绒服的人。智能体需要有一个“知识库”或“规则集”来指导它在不同层级的操作。对于高级语义瑕疵甚至可以引入一个大型语言模型LLM作为策划者根据图片内容生成“不合理”的修改建议再由智能体执行。策略二可控性与可逆性所有修改操作必须是参数化和可逆的。这意味着当我们对一张图片P施加了一个操作O(θ)得到瑕疵图片P‘时我们同时记录了操作类型O和参数θ。这份记录至关重要它有两个用途第一在验证阶段我们可以尝试用逆操作O^(-1)来检验修复效果是否接近原图P第二这些参数可以作为元数据辅助生成更精确的修复指令。3.2 视觉诊断模块让VLM成为“挑剔”的评委诊断模块的核心是一个经过针对性微调的VLM。我们不是直接用现成的BLIP-2或LLaVA因为它们缺乏对“瑕疵”的敏感度。训练数据构建 我们用智能体生成大量的三元组(原图P 瑕疵图P‘ 操作描述D)。操作描述D是从操作O和参数θ自动转换而来的文本例如“对手部区域进行了网格变形主要扭曲了食指和中指的指向。” 然后我们以两种方式利用这些数据描述生成训练将(P, P‘)作为输入让VLM学习生成与D类似的、描述差异的文本。这训练VLM“看见”变化。问答对训练构建大量的QA对。例如Q: “第二张图相比第一张图最明显的视觉瑕疵是什么”A: “人物的食指出现了不自然的弯曲指向了错误的方向。”Q: “这个瑕疵可能是什么原因造成的”A: “可能是图像处理时局部扭曲算法参数设置不当。”Q: “如何修复这个瑕疵”A: “应将食指的弯曲角度调整回与其余手指协调的自然状态。”通过这种高质量的、针对性的问答数据微调VLM会逐渐变成一个专业的“视觉质检员”能够用人类专家的语言 pinpoint 问题所在。一个实操心得在训练诊断VLM时混合使用“瑕疵图 vs 原图”和“瑕疵图 vs 完美生成图”由更先进的模型生成作为对比输入效果会更好。这能让模型不仅学习到“错误的样子”还能学习到“什么是更好的标准”。3.3 指令修复模块训练一个“听话”的Diffusion编辑模型这是系统的执行终端。我们需要一个模型它接收(瑕疵图 文本指令)输出修复后的图。这里通常采用基于扩散模型的图像编辑架构如InstructPix2Pix的思路但需求更高。模型选型与训练基础模型选择一个强大的文生图基础模型如 Stable Diffusion XL (SDXL)。它的潜空间表达能力强是好的起点。架构调整采用类似ControlNet的设计但控制条件不仅是边缘、深度图而是瑕疵图本身。我们将瑕疵图编码后以交叉注意力的方式注入到扩散模型的UNet中让模型始终“记住”要编辑的原始画面是什么。训练数据使用智能体合成的海量三元组{瑕疵图P‘ 修复指令I 目标图P}进行训练。修复指令I来自诊断VLM的输出或操作描述的转译。训练目标让模型学会根据指令I将P‘中的特定区域向P转换同时保持其他无关区域不变。这里的损失函数设计是关键通常包含重建损失在像素或潜空间上让输出接近目标图P。感知损失使用预训练网络如VGG的特征图差异保证语义一致性。文本对齐损失确保输出图像与修复指令I在CLIP空间的特征对齐。局部一致性损失特别强调被指令提及的局部区域要有更高的修复质量而未提及区域要有更高的保持度。一个关键的技巧在训练数据中需要混入一定比例的“恒等指令”样本即指令内容是“无需修改”或“保持原样”目标图就是瑕疵图本身。这有助于防止模型过度编辑学会在不需要动刀时保持克制。4. 实操流程与核心环节实现假设我们已经有了基础模型和初步的智能体策略下面是一个简化的端到端实操流程用于生成第一批数据并启动训练。4.1 第一阶段启动数据合成流水线准备原始图像池收集一批高质量的、无明显瑕疵的图片。可以是COCO等公开数据集的部分子集也可以是用SDXL等模型生成的一批高质量图片。多样性是关键人物、风景、物体、室内外。配置瑕疵智能体基于前面提到的分层策略用代码实现一系列瑕疵注入函数。例如用OpenCV实现高斯模糊、JPEG压缩用Albumentations库实现弹性变换、网格畸变用PIL进行局部的复制粘贴。# 伪代码示例一个简单的几何瑕疵注入函数 import cv2 import numpy as np from scipy import interpolate def inject_geometric_flaw(image, bbox): 在指定bbox区域内进行随机网格变形 h, w image.shape[:2] x1, y1, x2, y2 bbox # 创建原始网格点 grid_x, grid_y np.meshgrid(np.linspace(x1, x2, 10), np.linspace(y1, y2, 10)) # 随机扰动网格点制造扭曲 perturb np.random.randn(10, 10, 2) * 5 # 扰动幅度 grid_x_new grid_x perturb[..., 0] grid_y_new grid_y perturb[..., 1] # 使用薄板样条插值进行变形 # ... (具体TPS实现代码) warped_region tps_transform(image[y1:y2, x1:x2], grid_x, grid_y, grid_x_new, grid_y_new) image[y1:y2, x1:x2] warped_region return image, {flaw_type: mesh_warp, bbox: bbox, perturb_magnitude: 5}运行合成循环从图像池采样一张原图P。随机选择一种瑕疵类型和参数调用对应的函数生成瑕疵图P‘和操作记录R。将(P, P‘, R)保存下来。这就是原始的合成数据。4.2 第二阶段训练诊断VLM数据预处理将上一步得到的操作记录R通过模板或简单的规则转化为自然语言描述D和问答对(Q, A)。例如R是{‘flaw_type’: ‘mesh_warp’, ‘bbox’: [100,200,150,250], ‘object’: ‘hand’}。可以生成描述D“对图片中手部区域坐标约[100,200]到[150,250]进行了网格扭曲导致手指形状不规则。”生成问答对 Q: “图中手部有什么问题” A: D。模型选择与微调选择一个开源VLM如LLaVA-1.5。使用LoRA或QLoRA等参数高效微调方法在合成的(P, P‘, Q, A)数据上进行指令跟随微调。重点微调视觉编码器与LLM之间的连接器projector以及LLM本身。# 伪代码使用类似LLaVA官方训练脚本的方式 torchrun --nproc_per_node4 llava/train/train_mem.py \ --model_name_or_path lmsys/vicuna-7b-v1.5 \ --version v1 \ --data_path ./synthetic_qa.json \ --image_folder ./images/ \ --vision_tower openai/clip-vit-large-patch14 \ --tune_vision_tower False \ # 通常冻结视觉编码器以节省显存 --tune_mm_mlp_adapter True \ --mm_vision_select_layer -2 \ --mm_use_im_start_end False \ --bf16 True \ --output_dir ./checkpoints/llava-diagnostic \ --num_train_epochs 3 \ --per_device_train_batch_size 16 \ --gradient_accumulation_steps 4 \ --evaluation_strategy no \ --save_strategy epoch \ --learning_rate 2e-4 \ --weight_decay 0. \ --warmup_ratio 0.03 \ --lr_scheduler_type cosine \ --logging_steps 1 \ --tf32 True \ --model_max_length 2048 \ --gradient_checkpointing True \ --lazy_preprocess True评估使用一小部分未参与训练的数据人工评估VLM生成的瑕疵描述是否准确、具体。也可以设计自动评估指标如计算生成描述与操作记录R的文本相似度通过BERT等嵌入模型。4.3 第三阶段训练指令修复扩散模型数据准备将合成数据整理为修复模型需要的格式。每一行数据包含source_image: 瑕疵图P‘的路径。target_image: 原图P的路径。instruction: 修复指令。这里可以直接使用上一步训练好的诊断VLM对(P, P‘)生成描述然后将其转化为祈使句指令如“请修复手部不自然的扭曲”。也可以直接用操作记录R转化的指令。模型与训练基于InstructPix2Pix或Diffusion-based Image Editing的代码库进行修改。核心是让模型学会条件生成。编码将source_image通过一个编码器如CLIP的视觉编码器或一个简单的CNN映射为一系列特征。注入条件将这些特征作为额外的条件与文本指令的嵌入向量一起通过交叉注意力机制注入到扩散模型UNet的各个层。训练目标在训练时我们对目标图P加噪得到噪声潜变量z_t然后让UNet预测噪声。条件信息就是(source_image, instruction)。这样模型学习到的是“给定瑕疵图和修复指令如何一步步去噪得到修复后的图”。# 伪代码展示训练循环的核心逻辑 # model: 条件扩散UNet # vae: 变分自编码器用于图像与潜空间互转 # text_encoder: 文本编码器 # image_encoder: 瑕疵图编码器 # 编码目标图 with torch.no_grad(): latents vae.encode(target_pixel_values).latent_dist.sample() latents latents * vae.config.scaling_factor # 编码条件 text_embeds text_encoder(instruction) source_embeds image_encoder(source_pixel_values) # 关键注入瑕疵图信息 # 扩散过程 noise torch.randn_like(latents) timesteps torch.randint(0, noise_scheduler.num_train_timesteps, (bsz,)) noisy_latents noise_scheduler.add_noise(latents, noise, timesteps) # 预测噪声条件嵌入在这里传入UNet noise_pred model(noisy_latents, timesteps, encoder_hidden_statestext_embeds, added_condsource_embeds) # 计算损失 loss F.mse_loss(noise_pred, noise)迭代优化用初步训练的修复模型去修复一批瑕疵图得到修复结果R‘。然后将(P‘, R‘)再输入诊断VLM看看VLM是否认为问题被修复了。根据反馈可以筛选出修复失败或效果不佳的样本将其加入下一轮训练数据形成自我改进的循环。5. 挑战、应对策略与未来展望这个项目听起来美好但实操中坑点不少。下面分享几个我们踩过的坑和对应的思考。5.1 核心挑战与解决方案瑕疵的“合理性”与“可修复性”平衡问题智能体可能制造出过于离奇、在现实或语义上完全崩溃的瑕疵比如把人的头变成汽车轮胎。这种瑕疵虽然“不合理”但可能也“不可修复”或者修复指令无法定义“请把轮胎变回头”过于模糊。对策为智能体的动作空间设计约束。例如几何变形限制在局部、小幅度的语义瑕疵的引入必须基于一个可描述的属性替换“把西装换成休闲衬衫”而不是无厘头的混合。同时在诊断VLM的训练数据中也要加入对“无法修复/无需修复”情况的判断。修复模型的“过度编辑”与“编辑不足”问题模型可能为了迎合指令改变了不该改变的区域过度编辑或者对指令理解模糊只做了轻微调整编辑不足。对策数据层面如前所述加入“恒等指令”样本。模型层面在损失函数中强化局部保持损失。可以使用预训练的分割模型如SAM对指令中提到的物体区域生成掩码在训练时对该区域外的像素施加更强的重建约束。指令层面训练诊断VLM生成更空间化、更具体的指令。例如从“修复手部”升级为“修复左手食指第二关节的过度弯曲”。评估指标缺失问题如何量化评估一个模型“理解并修复视觉瑕疵”的能力传统的FID、IS分数主要衡量整体分布和质量不擅长衡量局部、特定的编辑效果。对策建立多维度评估体系人工评估黄金标准。设计问卷让评估者对修复前后的图片在“瑕疵消除度”、“内容保持度”、“自然度”等方面打分。自动化代理指标指令跟随度用另一个强大的VLM如GPT-4V判断修复后的图是否满足了文本指令。瑕疵减少度用训练好的诊断VLM分别对瑕疵图和修复图生成描述计算两者与“完美描述”的语义差异看差异是否缩小。局部相似度计算修复图与原图或目标图在非编辑区域的SSIM或LPIPS指标。5.2 与现有技术的结合与拓展这个框架具有很强的扩展性。例如可以与我们搜索到的网络热词结合Diffusion Large Language Models未来的修复指令可能不再是一条简短的命令而是一段复杂的对话。用户可以说“我觉得这个人的表情有点僵硬背景的树也看起来不太自然能不能调整得生动一点” 这就需要模型能理解复杂的、多目标的指令。将大语言模型更深地整合进来作为指令理解、规划和分解的“大脑”是必然趋势。BERT等文本模型在诊断VLM生成描述、或从操作记录生成指令时BERT等模型可以用于文本的润色、精炼或一致性检查确保生成的文本指令是流畅、无歧义的。更进一步这个“看见-修复”的智能体框架可以迁移到许多其他领域视频修复连续帧中的瑕疵检测与时空一致性修复。3D资产质检自动检测3D模型中的网格错误、UV撕裂、材质问题并尝试提供修复建议。工业视觉检测在制造业中自动识别产品表面的缺陷划痕、凹坑并模拟修复后的样子用于质量评估。5.3 个人实操心得与避坑指南从小处着手快速验证不要一开始就追求完美的全自动流水线。可以先手动制造几十种不同类型的瑕疵手动编写修复指令用这些数据去微调一个现有的图像编辑模型如InstructPix2Pix。快速看到模型是否具备“按指令编辑”的潜力这比搭建复杂系统但方向错误要高效得多。重视数据清洗智能体合成的数据必然包含大量“垃圾”——无意义的瑕疵或无法对应指令的修改。在投入训练前必须有一道过滤工序。可以用一个简单的规则过滤器如修改区域面积过小、修改前后像素差异过小或一个初级的分类模型来筛掉明显无效的数据。诊断VLM的质量是瓶颈如果诊断VLM看不准问题那么后续的一切都是空中楼阁。在资源有限的情况下优先把算力和精力投入到诊断VLM的微调上。可以考虑使用更强的基座模型如Qwen-VL或GPT-4V的API生成高质量种子数据来提升诊断能力。修复模型的训练需要巨量数据要让扩散模型学会精准、可控的编辑需要的(瑕疵图指令目标图)三元组数量是巨大的。做好心理和算力准备。分布式训练、混合精度训练、梯度检查点等技术是必备的。人类反馈的回路至关重要永远不要完全相信自动化流程。定期抽样检查合成数据、诊断结果和修复效果。将人类认为成功的案例和失败的案例分别收集起来分析原因并用于调整智能体策略、补充训练数据或修改模型结构。这个人类反馈闭环是系统持续进化的核心动力。这个项目就像在教AI学习一门名为“视觉常识”的课程。我们通过智能体扮演“出题老师”制造各种错题通过VLM扮演“批改老师”指出错误所在再通过Diffusion模型扮演“订正学生”练习如何改正。这个过程本身就是在缩小AI与人类在视觉理解上的认知差距。虽然路还很长但每合成一条高质量的数据每解决一个棘手的“不合理”都让我们离能让AI真正“看懂”世界的目标更近一步。 智能体数据合成：让AI学会自主诊断与修复视觉瑕疵
1. 项目概述当AI学会“看见”并“修复”视觉瑕疵最近在折腾一个挺有意思的项目核心目标就藏在标题里让视觉语言模型和扩散模型真正理解并修复图像中的“视觉瑕疵”。听起来有点抽象我换个说法你可能就明白了你有没有遇到过用AI生成的图片人物手指多了一根或者背景的纹理糊成一团又或者光影逻辑完全不对这些在AI眼里可能“完美”的图片在我们人类看来就是明显的“瑕疵”或“不合理之处”。传统的模型训练往往依赖于大量标注好的“好图”和“坏图”对但这类数据稀缺且标注成本极高。我们这个项目就是想绕开这个瓶颈通过一种名为“智能体数据合成”的方法让模型自己学会“看见”问题并“学会”如何修正它。这不仅仅是图像修复技术的简单迭代。它触及了当前多模态AI特别是文生图模型的一个核心痛点模型对生成结果的“审美”和“合理性”判断与人类存在鸿沟。模型可能根据“一个在公园长椅上微笑的女人”这个提示词生成一张构图、色彩都不错的图但仔细看女人的手臂可能以反关节的姿势扭曲着。模型自己并不认为这是个问题因为它从训练数据中学到的“合理性”边界是模糊的。我们的工作就是试图给模型建立一个更精确、更接近人类感知的“合理性”判别与修正系统。这里涉及几个关键角色VLMs负责“看见”并“理解”瑕疵用自然语言描述问题所在Diffusion Models是执行“修复”动作的画家而Agentic Data Synthesis则是驱动整个流程的“导演”和“教练”。它模拟一个智能体的决策过程主动地、有策略地制造出包含各种可控瑕疵的图片并生成对应的修复指令从而合成出海量的、高质量的“问题-修复”训练数据对。最终我们希望得到一个能自我审视、自我完善的生成模型或者一个强大的、理解力深入的视觉修复助手。2. 核心思路拆解从被动学习到主动创造的范式转变要理解这个项目的价值得先看看我们过去是怎么做的。传统方法无论是训练一个瑕疵检测模型还是一个图像修复模型都极度依赖标注数据。你需要雇人海量的标注员在成千上万的图片上框出哪里模糊了、哪里多了一块、哪里结构错了然后再标注出正确的样子是什么。这个过程费时、费力、费钱而且标注质量参差不齐更重要的是它覆盖的瑕疵类型是有限的标注员能想到的、能描述清楚的瑕疵只是真实世界瑕疵的冰山一角。我们这个项目的核心思路就是一场范式转变从“收集-标注-学习”的被动模式转向“创造-诊断-学习”的主动模式。我们不再等待瑕疵自然出现并被标注而是主动地、系统性地“制造”瑕疵。2.1 为什么是“智能体数据合成”“智能体”这个词在这里非常贴切。你可以把它想象成一个在数字画室里捣乱的、但又目的明确的“小精灵”。这个小精灵智能体有一套自己的行为策略目标驱动它的目标不是破坏而是为了教学。它要制造出“有教学意义的瑕疵”。感知环境它能“看到”一张正常的图片无论是真实照片还是AI生成的图。执行动作它根据策略对图片进行一系列可控的修改操作比如扭曲一只手部关节、在背景中复制粘贴一块重复的纹理、让物体的阴影方向与光源矛盾、在文字区域产生乱码等。观察结果制造瑕疵后它需要能描述这个瑕疵。这里就引入了VLM。智能体把“原图”和“瑕疵图”一起喂给VLM并提问“第二张图相对于第一张图在视觉上有哪些不合理或错误的地方” VLM会生成一个文本描述例如“人物的左手小指出现了不自然的弯曲疑似多了一个关节。”生成修复指令基于VLM的描述智能体或另一个文本生成模块将其转化为一个修复指令例如“请将左手小指恢复到自然的弯曲状态消除多余的关节。”记录数据对至此我们就合成了一条完美的训练数据{瑕疵图片 修复指令 目标图片原图}。这里的“目标图片”就是修复应该达到的标准答案。这个循环可以自动化、大规模地运行。智能体的策略可以非常丰富从简单的几何变形到复杂的语义矛盾插入比如给狗加上猫的耳朵从而生成覆盖范围极广的瑕疵类型数据集。这才是“数据合成”的威力所在——我们不是在随机污染图片而是在进行有教育意义的、可控的“破坏”。2.2 VLM与Diffusion Model的角色再定义在这个框架下VLM和Diffusion Model的角色被赋予了新的内涵。VLM从描述者到诊断医生。传统的VLM应用多是“看图说话”描述图片里有什么。在这里VLM的任务升级为“对比诊断”。它需要比较两张高度相似的图片找出那细微的、不合理的差异并用精准的语言定位问题。这要求VLM具备更强的细粒度理解能力和逻辑推理能力。它不能只说“手部奇怪”而需要说出“左手第三指节逆向弯曲了15度左右”。Diffusion Model从生成者到外科医生。传统的文生图模型是从噪声或文本生成全新图片。在这里Diffusion Model更像一个接受精确指令的外科医生。它的输入是“瑕疵图片”和一条非常具体的“修复指令”如“矫正左手第三指节的弯曲”输出是在尽量保留其他所有信息的前提下精准修正指定问题的图片。这要求模型具备高质量的图像编辑能力和指令遵循能力而不是天马行空地重新生成。这个项目本质上是在构建一个闭环用Agent制造数据用数据训练VLM使其诊断更准用数据训练Diffusion Model使其修复更精。而更准的诊断和更精的修复又能反过来帮助Agent设计出更复杂、更有挑战性的瑕疵从而形成数据飞轮。3. 系统架构设计与关键技术点要把这个想法落地需要一个精心设计的系统架构。整个流程可以分解为三个核心模块瑕疵合成智能体、视觉诊断模块和指令修复模块。3.1 瑕疵合成智能体的设计策略这是系统的发动机。智能体的设计直接决定了合成数据的质量和多样性。我们不能让它胡乱修改那样生成的瑕疵可能毫无意义或者过于简单/复杂。策略一分层级瑕疵注入我将瑕疵分为三个层级由易到难确保数据集的渐进性低级感知瑕疵模拟图像采集或压缩过程产生的问题。例如高斯模糊、块状伪影JPEG压缩、色彩噪声、亮度突变。智能体可以随机选择区域、随机选择强度施加这些滤镜。这类瑕疵的修复指令相对简单如“消除背景中的块状马赛克”。中级几何/结构瑕疵针对图像中物体的形状、结构进行破坏。这是当前AI生图问题的重灾区。具体操作包括局部扭曲使用薄板样条插值TPS或网格变形对特定区域如手、脚、面部器官进行非刚性变形。逻辑错误制造物理上不可能的连接如让杯子把手悬浮在空中或制造透视错误如一个物体的远近两部分大小比例失调。重复或缺失复制粘贴物体的某一部分如多一根手指或使用修复模型如LaMa随机擦除物体的一部分。高级语义瑕疵制造符合语法但违背常识或视觉逻辑的内容。这最具挑战性也需要最精细的控制。例如属性矛盾给一个穿着西装的人生成一双沙滩拖鞋。关系错乱让一个人“拿着”一个球但手和球之间没有接触阴影或正确的握持姿势。上下文不符在沙漠场景中生成一个穿着厚厚羽绒服的人。智能体需要有一个“知识库”或“规则集”来指导它在不同层级的操作。对于高级语义瑕疵甚至可以引入一个大型语言模型LLM作为策划者根据图片内容生成“不合理”的修改建议再由智能体执行。策略二可控性与可逆性所有修改操作必须是参数化和可逆的。这意味着当我们对一张图片P施加了一个操作O(θ)得到瑕疵图片P‘时我们同时记录了操作类型O和参数θ。这份记录至关重要它有两个用途第一在验证阶段我们可以尝试用逆操作O^(-1)来检验修复效果是否接近原图P第二这些参数可以作为元数据辅助生成更精确的修复指令。3.2 视觉诊断模块让VLM成为“挑剔”的评委诊断模块的核心是一个经过针对性微调的VLM。我们不是直接用现成的BLIP-2或LLaVA因为它们缺乏对“瑕疵”的敏感度。训练数据构建 我们用智能体生成大量的三元组(原图P 瑕疵图P‘ 操作描述D)。操作描述D是从操作O和参数θ自动转换而来的文本例如“对手部区域进行了网格变形主要扭曲了食指和中指的指向。” 然后我们以两种方式利用这些数据描述生成训练将(P, P‘)作为输入让VLM学习生成与D类似的、描述差异的文本。这训练VLM“看见”变化。问答对训练构建大量的QA对。例如Q: “第二张图相比第一张图最明显的视觉瑕疵是什么”A: “人物的食指出现了不自然的弯曲指向了错误的方向。”Q: “这个瑕疵可能是什么原因造成的”A: “可能是图像处理时局部扭曲算法参数设置不当。”Q: “如何修复这个瑕疵”A: “应将食指的弯曲角度调整回与其余手指协调的自然状态。”通过这种高质量的、针对性的问答数据微调VLM会逐渐变成一个专业的“视觉质检员”能够用人类专家的语言 pinpoint 问题所在。一个实操心得在训练诊断VLM时混合使用“瑕疵图 vs 原图”和“瑕疵图 vs 完美生成图”由更先进的模型生成作为对比输入效果会更好。这能让模型不仅学习到“错误的样子”还能学习到“什么是更好的标准”。3.3 指令修复模块训练一个“听话”的Diffusion编辑模型这是系统的执行终端。我们需要一个模型它接收(瑕疵图 文本指令)输出修复后的图。这里通常采用基于扩散模型的图像编辑架构如InstructPix2Pix的思路但需求更高。模型选型与训练基础模型选择一个强大的文生图基础模型如 Stable Diffusion XL (SDXL)。它的潜空间表达能力强是好的起点。架构调整采用类似ControlNet的设计但控制条件不仅是边缘、深度图而是瑕疵图本身。我们将瑕疵图编码后以交叉注意力的方式注入到扩散模型的UNet中让模型始终“记住”要编辑的原始画面是什么。训练数据使用智能体合成的海量三元组{瑕疵图P‘ 修复指令I 目标图P}进行训练。修复指令I来自诊断VLM的输出或操作描述的转译。训练目标让模型学会根据指令I将P‘中的特定区域向P转换同时保持其他无关区域不变。这里的损失函数设计是关键通常包含重建损失在像素或潜空间上让输出接近目标图P。感知损失使用预训练网络如VGG的特征图差异保证语义一致性。文本对齐损失确保输出图像与修复指令I在CLIP空间的特征对齐。局部一致性损失特别强调被指令提及的局部区域要有更高的修复质量而未提及区域要有更高的保持度。一个关键的技巧在训练数据中需要混入一定比例的“恒等指令”样本即指令内容是“无需修改”或“保持原样”目标图就是瑕疵图本身。这有助于防止模型过度编辑学会在不需要动刀时保持克制。4. 实操流程与核心环节实现假设我们已经有了基础模型和初步的智能体策略下面是一个简化的端到端实操流程用于生成第一批数据并启动训练。4.1 第一阶段启动数据合成流水线准备原始图像池收集一批高质量的、无明显瑕疵的图片。可以是COCO等公开数据集的部分子集也可以是用SDXL等模型生成的一批高质量图片。多样性是关键人物、风景、物体、室内外。配置瑕疵智能体基于前面提到的分层策略用代码实现一系列瑕疵注入函数。例如用OpenCV实现高斯模糊、JPEG压缩用Albumentations库实现弹性变换、网格畸变用PIL进行局部的复制粘贴。# 伪代码示例一个简单的几何瑕疵注入函数 import cv2 import numpy as np from scipy import interpolate def inject_geometric_flaw(image, bbox): 在指定bbox区域内进行随机网格变形 h, w image.shape[:2] x1, y1, x2, y2 bbox # 创建原始网格点 grid_x, grid_y np.meshgrid(np.linspace(x1, x2, 10), np.linspace(y1, y2, 10)) # 随机扰动网格点制造扭曲 perturb np.random.randn(10, 10, 2) * 5 # 扰动幅度 grid_x_new grid_x perturb[..., 0] grid_y_new grid_y perturb[..., 1] # 使用薄板样条插值进行变形 # ... (具体TPS实现代码) warped_region tps_transform(image[y1:y2, x1:x2], grid_x, grid_y, grid_x_new, grid_y_new) image[y1:y2, x1:x2] warped_region return image, {flaw_type: mesh_warp, bbox: bbox, perturb_magnitude: 5}运行合成循环从图像池采样一张原图P。随机选择一种瑕疵类型和参数调用对应的函数生成瑕疵图P‘和操作记录R。将(P, P‘, R)保存下来。这就是原始的合成数据。4.2 第二阶段训练诊断VLM数据预处理将上一步得到的操作记录R通过模板或简单的规则转化为自然语言描述D和问答对(Q, A)。例如R是{‘flaw_type’: ‘mesh_warp’, ‘bbox’: [100,200,150,250], ‘object’: ‘hand’}。可以生成描述D“对图片中手部区域坐标约[100,200]到[150,250]进行了网格扭曲导致手指形状不规则。”生成问答对 Q: “图中手部有什么问题” A: D。模型选择与微调选择一个开源VLM如LLaVA-1.5。使用LoRA或QLoRA等参数高效微调方法在合成的(P, P‘, Q, A)数据上进行指令跟随微调。重点微调视觉编码器与LLM之间的连接器projector以及LLM本身。# 伪代码使用类似LLaVA官方训练脚本的方式 torchrun --nproc_per_node4 llava/train/train_mem.py \ --model_name_or_path lmsys/vicuna-7b-v1.5 \ --version v1 \ --data_path ./synthetic_qa.json \ --image_folder ./images/ \ --vision_tower openai/clip-vit-large-patch14 \ --tune_vision_tower False \ # 通常冻结视觉编码器以节省显存 --tune_mm_mlp_adapter True \ --mm_vision_select_layer -2 \ --mm_use_im_start_end False \ --bf16 True \ --output_dir ./checkpoints/llava-diagnostic \ --num_train_epochs 3 \ --per_device_train_batch_size 16 \ --gradient_accumulation_steps 4 \ --evaluation_strategy no \ --save_strategy epoch \ --learning_rate 2e-4 \ --weight_decay 0. \ --warmup_ratio 0.03 \ --lr_scheduler_type cosine \ --logging_steps 1 \ --tf32 True \ --model_max_length 2048 \ --gradient_checkpointing True \ --lazy_preprocess True评估使用一小部分未参与训练的数据人工评估VLM生成的瑕疵描述是否准确、具体。也可以设计自动评估指标如计算生成描述与操作记录R的文本相似度通过BERT等嵌入模型。4.3 第三阶段训练指令修复扩散模型数据准备将合成数据整理为修复模型需要的格式。每一行数据包含source_image: 瑕疵图P‘的路径。target_image: 原图P的路径。instruction: 修复指令。这里可以直接使用上一步训练好的诊断VLM对(P, P‘)生成描述然后将其转化为祈使句指令如“请修复手部不自然的扭曲”。也可以直接用操作记录R转化的指令。模型与训练基于InstructPix2Pix或Diffusion-based Image Editing的代码库进行修改。核心是让模型学会条件生成。编码将source_image通过一个编码器如CLIP的视觉编码器或一个简单的CNN映射为一系列特征。注入条件将这些特征作为额外的条件与文本指令的嵌入向量一起通过交叉注意力机制注入到扩散模型UNet的各个层。训练目标在训练时我们对目标图P加噪得到噪声潜变量z_t然后让UNet预测噪声。条件信息就是(source_image, instruction)。这样模型学习到的是“给定瑕疵图和修复指令如何一步步去噪得到修复后的图”。# 伪代码展示训练循环的核心逻辑 # model: 条件扩散UNet # vae: 变分自编码器用于图像与潜空间互转 # text_encoder: 文本编码器 # image_encoder: 瑕疵图编码器 # 编码目标图 with torch.no_grad(): latents vae.encode(target_pixel_values).latent_dist.sample() latents latents * vae.config.scaling_factor # 编码条件 text_embeds text_encoder(instruction) source_embeds image_encoder(source_pixel_values) # 关键注入瑕疵图信息 # 扩散过程 noise torch.randn_like(latents) timesteps torch.randint(0, noise_scheduler.num_train_timesteps, (bsz,)) noisy_latents noise_scheduler.add_noise(latents, noise, timesteps) # 预测噪声条件嵌入在这里传入UNet noise_pred model(noisy_latents, timesteps, encoder_hidden_statestext_embeds, added_condsource_embeds) # 计算损失 loss F.mse_loss(noise_pred, noise)迭代优化用初步训练的修复模型去修复一批瑕疵图得到修复结果R‘。然后将(P‘, R‘)再输入诊断VLM看看VLM是否认为问题被修复了。根据反馈可以筛选出修复失败或效果不佳的样本将其加入下一轮训练数据形成自我改进的循环。5. 挑战、应对策略与未来展望这个项目听起来美好但实操中坑点不少。下面分享几个我们踩过的坑和对应的思考。5.1 核心挑战与解决方案瑕疵的“合理性”与“可修复性”平衡问题智能体可能制造出过于离奇、在现实或语义上完全崩溃的瑕疵比如把人的头变成汽车轮胎。这种瑕疵虽然“不合理”但可能也“不可修复”或者修复指令无法定义“请把轮胎变回头”过于模糊。对策为智能体的动作空间设计约束。例如几何变形限制在局部、小幅度的语义瑕疵的引入必须基于一个可描述的属性替换“把西装换成休闲衬衫”而不是无厘头的混合。同时在诊断VLM的训练数据中也要加入对“无法修复/无需修复”情况的判断。修复模型的“过度编辑”与“编辑不足”问题模型可能为了迎合指令改变了不该改变的区域过度编辑或者对指令理解模糊只做了轻微调整编辑不足。对策数据层面如前所述加入“恒等指令”样本。模型层面在损失函数中强化局部保持损失。可以使用预训练的分割模型如SAM对指令中提到的物体区域生成掩码在训练时对该区域外的像素施加更强的重建约束。指令层面训练诊断VLM生成更空间化、更具体的指令。例如从“修复手部”升级为“修复左手食指第二关节的过度弯曲”。评估指标缺失问题如何量化评估一个模型“理解并修复视觉瑕疵”的能力传统的FID、IS分数主要衡量整体分布和质量不擅长衡量局部、特定的编辑效果。对策建立多维度评估体系人工评估黄金标准。设计问卷让评估者对修复前后的图片在“瑕疵消除度”、“内容保持度”、“自然度”等方面打分。自动化代理指标指令跟随度用另一个强大的VLM如GPT-4V判断修复后的图是否满足了文本指令。瑕疵减少度用训练好的诊断VLM分别对瑕疵图和修复图生成描述计算两者与“完美描述”的语义差异看差异是否缩小。局部相似度计算修复图与原图或目标图在非编辑区域的SSIM或LPIPS指标。5.2 与现有技术的结合与拓展这个框架具有很强的扩展性。例如可以与我们搜索到的网络热词结合Diffusion Large Language Models未来的修复指令可能不再是一条简短的命令而是一段复杂的对话。用户可以说“我觉得这个人的表情有点僵硬背景的树也看起来不太自然能不能调整得生动一点” 这就需要模型能理解复杂的、多目标的指令。将大语言模型更深地整合进来作为指令理解、规划和分解的“大脑”是必然趋势。BERT等文本模型在诊断VLM生成描述、或从操作记录生成指令时BERT等模型可以用于文本的润色、精炼或一致性检查确保生成的文本指令是流畅、无歧义的。更进一步这个“看见-修复”的智能体框架可以迁移到许多其他领域视频修复连续帧中的瑕疵检测与时空一致性修复。3D资产质检自动检测3D模型中的网格错误、UV撕裂、材质问题并尝试提供修复建议。工业视觉检测在制造业中自动识别产品表面的缺陷划痕、凹坑并模拟修复后的样子用于质量评估。5.3 个人实操心得与避坑指南从小处着手快速验证不要一开始就追求完美的全自动流水线。可以先手动制造几十种不同类型的瑕疵手动编写修复指令用这些数据去微调一个现有的图像编辑模型如InstructPix2Pix。快速看到模型是否具备“按指令编辑”的潜力这比搭建复杂系统但方向错误要高效得多。重视数据清洗智能体合成的数据必然包含大量“垃圾”——无意义的瑕疵或无法对应指令的修改。在投入训练前必须有一道过滤工序。可以用一个简单的规则过滤器如修改区域面积过小、修改前后像素差异过小或一个初级的分类模型来筛掉明显无效的数据。诊断VLM的质量是瓶颈如果诊断VLM看不准问题那么后续的一切都是空中楼阁。在资源有限的情况下优先把算力和精力投入到诊断VLM的微调上。可以考虑使用更强的基座模型如Qwen-VL或GPT-4V的API生成高质量种子数据来提升诊断能力。修复模型的训练需要巨量数据要让扩散模型学会精准、可控的编辑需要的(瑕疵图指令目标图)三元组数量是巨大的。做好心理和算力准备。分布式训练、混合精度训练、梯度检查点等技术是必备的。人类反馈的回路至关重要永远不要完全相信自动化流程。定期抽样检查合成数据、诊断结果和修复效果。将人类认为成功的案例和失败的案例分别收集起来分析原因并用于调整智能体策略、补充训练数据或修改模型结构。这个人类反馈闭环是系统持续进化的核心动力。这个项目就像在教AI学习一门名为“视觉常识”的课程。我们通过智能体扮演“出题老师”制造各种错题通过VLM扮演“批改老师”指出错误所在再通过Diffusion模型扮演“订正学生”练习如何改正。这个过程本身就是在缩小AI与人类在视觉理解上的认知差距。虽然路还很长但每合成一条高质量的数据每解决一个棘手的“不合理”都让我们离能让AI真正“看懂”世界的目标更近一步。