我第一次认真研究“全身体deepfake生成”这个方向不是因为它逼真而是因为一次失败实验的观察把一张脸贴到全身视频上前几秒看起来还行可只要人物转身、走出画面再回来脸就会慢慢变得不像同一个人。当时我以为是模型精度不够反复调参后才发现问题根本不是单帧贴图而是在“持续生成”的时间维度上身份信息正在缓慢漂移。这篇名为Towards perpetual full-body deepfake generation的论文标题恰好把这层难题摆到了台面上。它不满足于做一个会换脸的娱乐工具而是想实现一种“持续的全身体深度伪造生成”——让一个虚拟出来的人物在完整身体、连续动作、多段镜头的条件下始终保持同一种面貌和存在感。如果只看到 deepfake 三个字很容易把它归到换脸娱乐的范畴。但加上 full-body 和 perpetual 两个限定词后技术目标已经完全不同不是把一张脸贴到另一张脸上而是在长序列中维持一个完整的、可信的“人体身份”。这才是标题里真正值得拆的部分。1. 先理解“perpetual full-body”到底难在哪1.1 换脸是局部修正全身生成是全局约束传统换脸的核心逻辑是检测面部关键点把源人脸对齐到目标视频中的人脸上再做融合和颜色校正。它的本质是局部纹理替换只需要关注脸这一小片区域背景、身体、服装、光照都可以假装看不见。一旦目标人脸转动角度、出现遮挡、光源变化融合结果就会开始露馅。全身生成完全不同。它要处理的是一整个人体的流形至少同时包含四个层面面部身份特征脸型、五官比例、肤色、表情。身体姿态躯干朝向、四肢位置、手部动作、步态。服装与细节衣服纹理、褶皱、发型、配饰。时间一致性这些属性必须在每一帧都延续不能跳变。所以从“换脸”到“全身生成”不是简单的区域扩大而是从局部编辑跳到全局重建。换脸可以借助大量现成人脸先验全身生成却要同时处理人体结构、遮挡关系、运动模糊和长期一致性。很多在换脸任务里好用的技巧放到全身场景里会直接失效。1.2 “持续”不等于“长视频”而是“身份不漂移”“perpetual”这个词比“long video”更精确。它强调的不只是生成的视频有多长而是在时间推进过程中生成模型有没有持续维持人物身份。我在实际测试里有很深的体会短片段生成很少出问题因为只有十几帧到几十帧模型靠参考帧的特征就能“硬撑”过去。一旦视频超过一定长度或者人物重新出现在画面里模型就会忘记这张脸原本属于谁。最常见的表现是眼睛间距慢慢变了一点下巴轮廓开始模糊肤色渐渐偏移。单帧截图很难看出问题但连起来播放整个人会像换了一个人。为什么会出现这种现象因为逐帧生成时每一帧都通过参考图像和姿态信息来重建当前帧。如果模型没有显式的时间记忆它只能依赖当前输入。参考特征在遮挡、视角变化、姿态大幅改变时会被弱化时间一长误差会逐帧累积。最终的结果就是身份特征被“平均”成一张模糊的新面孔。可以这样理解单帧生成是拍一张证件照perpetual full-body generation 是让同一个人连续拍一部几个小时不断线的电影中途不能换妆、不能换衣服、不能换脸。这个约束条件让问题性质完全变了。2. 长期一致性的三座大山身份、运动、上下文研究或评估任何一类的全身生成方案我都建议先用三个维度去拆解身份是否稳定运动是否连贯上下文是否一致。这三件事可以看作长期生成的三座大山缺一座都会翻车。2.1 身份漂移为什么脸会逐渐变成另一个人身份漂移是长期生成里最先暴露出来的问题。根源在于生成模型很难同时做到“像素级逼真”和“身份级稳定”。如果单纯追求每一帧的重建质量模型会把注意力放在局部纹理、光照匹配和细节修复上。但身份特征不是像素级的它是全局的、结构化的。比如一个人脸的A和B之间可能只有眉骨、下颌角的细微差别但正是这些细节决定了“这个人是谁”。局部重建模式很容易把这些关键结构在某个视角下修正掉造成“五官都正常但看起来不太像”的诡异效果。现在的主流解决思路是在生成器里加入显式的身份编码让模型在生成每一帧时都参考同一个身份向量或者用对比学习拉近同一身份特征的距离推远不同身份的特征。但工程实现上身份编码的权重如果太大会限制表情和姿态的自然度太小又会出现身份漂移。从这个角度看身份一致性本质是一个平衡问题不是一个纯精度问题。2.2 运动连贯步态、手势和身体扭曲全身生成只保持脸是不够的身体动作必须连续且符合物理规律。驱动运动的方式通常依赖于姿态估计模型例如骨骼关键点、DensePose 或深度图。这些信息会告诉生成器当前帧里人物各部位在哪里生成器再据此合成图像。问题在于姿态估计本身是有误差的。手指、脚部、遮挡后的躯干边缘是常见的估计不稳定区域。生成器如果把这种误差放大屏幕里就会出现手臂忽长忽短、手指数量异常、走路姿态像漂移等一眼假的问题。更隐蔽的是身体扭曲往往不是整段视频持续出现而是某个瞬间突然崩一下。这种“偶发性错误”在人工抽检时很难发现但在连续播放时非常刺眼。运动连贯还要求模型具备一定的物理常识。比如跑步时手臂应该自然摆动转头时脖子不能像弹簧一样拉长。很多方案在图像质量上做得很好但运动一多就露馅原因就在这里。2.3 全局上下文衣服、发型、光线、场景都要有记忆第三座大山是全局上下文的一致性。这里说的上下文不只是背景还包括人物本身的静态属性衣服纹理、发型、鞋子、饰品、随身的物品。逐帧生成模型很容易把衣服上的一个字母在几十帧后慢慢改写成另一个形状或者让人物转身之后衣服皱褶位置完全对不上。这些问题在像素级指标上可能影响不大但人眼对大面积区域的一致性非常敏感。只要衣服花色、发型轮廓、场景光照发生跳变观众立刻会觉得“这画面有问题”。全局上下文一致的难点在于模型必须拥有比“视觉特征”更持久的信息记忆。它不仅要看懂当前帧有什么还要记得上一分钟人物穿的是什么、光照来自哪个方向、场景里有哪些固定物体。这也意味着纯逐帧生成的方案很难满足要求必须在网络里加入时序建模或跨帧注意力机制。所以如果你要判断一个生成方案到底能不能做“perpetual full-body”不要只盯着单帧截图而是要看它如何解决这三座大山。这也是一个更通用的评估方法任何数字人、虚拟主播、AI 演员类项目都可以用身份、运动、上下文三个维度来确定验收标准。3. 这类方案的一般搭建路径从输入到输出的逻辑链路把论文标题翻译成工程问题之后接下来的问题是如果我们要研究或复现这一类方案一般会怎么搭建这里先说明以下内容不是某篇论文的官方复现步骤而是这一类生成任务常见的处理链路。具体实现要结合你手里的框架、代码库和数据集调整。3.1 输入输出先确定你手里有什么想要得到什么全身生成类任务通常会用到两类输入目标人物素材一段或多段包含目标人物全身的视频用于提取身份特征。驱动信号驱动人物动作的信息来源可以是另一段视频中的姿态序列也可以是通过动捕、算法生成的骨骼关键点序列。输出则是一段保持目标人物身份、但动作由驱动信号控制的全身视频。整个流程的关键不是“怎么生成一帧”而是“怎么让连续多帧看起来同一个人、同一个环境”。所以在设计链路时不必一开始就追求单帧的极致画质而应该先把输入信息抽好、把时序结构搭对。3.2 一条典型的生成链路我习惯把这类链路拆成四个模块身份提取、运动估计、生成器、时序一致性处理。下面是一个简化示例# 伪代码示例说明一条常见处理链路 # 注意这是通用结构不是具体论文实现 # 1. 读取目标人物参考片段提取身份特征 identity_feat extract_identity(reference_frames) # 2. 读取驱动视频提取每帧姿态/深度信息 pose_seq extract_pose(driving_video_each_frame) # 3. 逐帧生成并保留前一帧结果作为时序条件 for i in range(len(pose_seq)): prev_frame generate(identity_feat, pose_seq[i], prev_frame) output_frames.append(prev_frame) # 4. 合并成视频并检查帧间平滑 save_video(output_frames)在这个结构里每个模块都有自己容易崩的地方身份提取失败后续生成的脸会不像目标人物。姿态序列提取不稳定生成结果会出现肢体扭曲。生成器只在单帧上做优化帧间闪烁会非常明显。时序模块过强会把细节过度平滑成“塑料质感”。所以建议先跑通一个最小流程再逐步替换和优化单个模块。不要一上来就追求完整长视频也不要在参数没摸清前进批量生产。3.3 训练与评测为什么评测比生成本身还麻烦生成类任务的评测一直很微妙。单帧指标如 FID、LPIPS、SSIM 只能衡量“这一帧像不像”很难衡量“连起来像不像”。几个真实工程里常见的问题单帧指标很高但连起来画面狂闪。身份一致性指标不错但人眼一看就是僵硬的。生成结果在短片段里表现稳定一旦超过某个时长开始出现错误累积。所以在训练和评测时我建议至少做两件事一是把长序列单独作为评测集二是保留人工盲评环节。不要只信量表数字生成类项目最终还是要落到“人看着舒服不舒服”上。很多论文之所以说“towards”就是因为还没有宣称完全解决只是给出了一个阶段性方向。4. 从论文走向实际落地最容易崩的是这四件事论文可以展示漂亮的结果但在工程化落地时最先崩的往往不是模型结构而是数据、资源、稳定性和合规这些边缘问题。4.1 数据质量与授权决定第一道关卡任何一个全身生成模型都需要大量高质量的人物视频来训练或微调。但真实场景里多数需求来自特定个人而不是公开数据集里的角色。如果只有一段十几秒的侧面素材有些模型连身份特征都提不出来更不要说生成全身动作。所以数据分析比模型调参更前置。你要先判断目标人物是否有足够多的多角度画面、光照变化、姿态变化如果素材本身单调那么生成结果也会非常脆弱。另一个必须强调的点是数据授权真人视频素材必须获得明确授权生成后也要标注来源和用途这在真实项目里是绝对不能跳过的环节。4.2 显存、推理速度与分块策略全身生成的分辨率通常不会低一般至少处理 512×512 或更高分辨率。而在这种分辨率下长视频不可能一次性全部放进显存生成。常见的做法是分块处理切成小段段与段之间用上一段的最后帧作为先验再对输出做拼接与平滑。分块策略会影响两个关键问题。一是段长太长显存扛不住段长太短段与段之间会清晰出现接缝。二是全局身份是否跨段保持。如果每一段重新提取身份特征可能会因为参考帧不同导致前后肤色、亮度不一致。提醒工程落地时先做“段间一致性测试”不要只测单段生成效果。否则拼出来的视频很容易出现一段一个气质的尴尬情况。4.3 帧间闪烁是工程上最隐蔽的坑帧间闪烁比单帧质量差更让人头疼。它的表现是人物轮廓边缘在相邻帧之间轻微抖动衣服纹理像水波纹一样蠕动光影忽明忽暗。这种问题在截图中几乎看不出来一旦播放成视频马上会感受到“画面很不干净”。最常见的处理方法是加入光流约束、时序注意力或训练时的视频判别器。但这类手段会明显增加训练难度和显存开销而且容易产生“平滑过度”的新问题人物像变成了慢动作的蜡像细节被磨没了。如果只能做后处理可以尝试关键帧加插帧策略每隔几帧生成关键帧中间帧由光流或运动补偿插值。这样做能在一定程度上改善闪烁但也需要预留调试空间。4.4 检测与治理视角防御必须前置前面聊的更多是生成侧技术但研究这类方向必须同时关注内容安全和检测。随着 full-body 生成能力增强检测不能只盯人脸或单帧特征而要综合以下维度人脸身份是否和身体动作匹配。姿态序列是否有违人体结构规律。背景、衣服、光照在时间轴上是否连续。是否带有可追溯的水印或元数据标记。对普通开发者和内容平台来说防御思路要前置。等深度伪造内容传播开再检测往往已经迟了。所以更合理的策略是在生成和编辑工具中默认加入内容标识在发布环节做基于时序一致性的风险识别。5. 一个针对生成效果的问题排查顺序如果你也在做类似的生成式视频项目遇到“生成的视频看起来怪怪的”不要第一时间换模型或调大参数。建议按下面的顺序排查能少走很多弯路。5.1 从单帧到长序列逐层定位我一般会按六个层次排查排查层看什么常见问题单帧质量面部五官、手部、肢体比例脸歪、手指异常、身体扭曲相邻帧连贯亮度、边缘、纹理是否跳变闪烁、边缘蠕动、光晕抖动跨段一致性不同镜头下脸、衣服、光线是否一致身份漂移、服装改变、光照突变输入侧参考帧质量、姿态估计稳定性姿态错位、遮挡信息丢失运行环境依赖版本、显存占用、序列长度内存溢出、推理速度异常后处理平滑强度、插帧策略过度模糊、细节丢失注意顺序是关键先确定问题在生成器内部还是在输入链路还是后处理引入的。不要一上来就调生成器参数。5.2 一个实用的验收流程三遍观察法第一遍做单帧抽检每隔一定帧数抽一张图单独看脸、手、衣服是否正常。第二遍做短片段连放挑 5 到 10 秒的片段连续播放重点看帧间是否闪烁。第三遍做跨段长序列验证让视频中人物经历不同动作、出镜再入镜看身份和着装是否能维持。这个方法不复杂但对生成式视频项目非常有效。我自己的习惯是先三条片段跑通再进入完整长序列测试。如果三条片段里就已经出现身份漂移或肢体扭曲就不要浪费时间在调后处理上问题大概率出在身份建模或姿态估计。5.3 如果结果还是很糟糕从哪几块找根因常见的原因是数据覆盖不足。目标人物的素材只有正面镜头那么生成侧脸或背身时必然会崩。其次要检查姿态估计是否稳定尤其手部、脚部等小区域。如果姿态序列本身在抖生成器再强也很难救回来。还有一个隐藏因素生成器的时序窗口太短。很多实现虽然做了时间建模但实际只看了前后几帧无法维持长期身份信息。这种情况下即使单帧结果很好长视频也会逐渐漂移。建议不要追求一次性把整段视频做完美。先保证 5 秒片段稳定再扩展到 20 秒最后再考虑长视频和多镜头切换。每扩展一个数量级都会暴露一层新问题。回到标题里那个 “towards”它本身就是一个进行时。perpetual full-body deepfake generation 还没到完全成熟但它已经给生成式视频领域划出了一条很明确的衡量线不能持续保持身份的生成只能算短视频特效能持续保持身份的生成才会真正进入内容生产的核心流程。我建议关心这个方向的朋友不必急着追逐新概念而是先把“身份、运动、上下文”这三个层面吃透。它们既是一篇论文的验收标准也是一套落地方案的排查顺序。