简介面向毕业设计场景的深度伪造视频检测完整实现包基于卷积视觉Transformer架构整合源码、预训练权重与运行说明适合计算机视觉方向学生完成换脸视频鉴别实验或相关课题研究。压缩包总计196个文件包含167张jpg图像样本、13个mp4测试视频、9个Python源码文件另附pth模型权重、csv预测结果、json配置、pkl数据文件与npy数组等整体大小约80.29MB目录结构较为紧凑便于按图像、视频、代码和文档分类检索。目前已有74人学习下载。资料覆盖从数据准备、模型构建到推理预测的完整流程pth权重可直接加载用于检测csv预测结果有助于分析模型输出配套的PPT讲解和Markdown运行文档能够辅助理解工程实现细节与调参思路。对需要提交毕业设计成果或入门Deepfake检测的开发者来说是一份兼顾算法原理与落地实践的参考方案。1. Deepfake 视频检测为什么要把卷积叠加到 Vision-Transformer 上Deepfake 视频检测表面上是在回答“这段视频是真还是假”实际上要解决的是两个完全不同的问题单帧画面里有没有伪造痕迹以及连续帧之间有没有时间维度上的不自然。前者靠局部纹理后者靠全局关联单一模型很难两头兼顾。纯卷积神经网络捕获局部边缘、模糊和色度异常很拿手但感受野有限跨帧线索捕捉不到纯 Vision-Transformer 视野够广却缺少卷积的归纳偏置在训练数据不够大的时候容易欠拟合。“卷积 Vision-Transformer”的做法就是在同一个网络里先用卷积做特征提取和降采样再把特征序列交给 Transformer 编码器做全局建模。对毕业设计来说这个方向复现成本可控、参数解释空间大也容易出可展示的检测效果。本文按“检测原理 → 工程落地 → 参数调优 → 验收技巧”展开适合正在做 deepfake 相关选题的学生和想快速评估混合架构投入产出比的内容审核从业者。2. 卷积与 Vision-Transformer 的检测分工人脸伪造痕迹和时序一致性2.1 卷积模块在单帧图像上找什么卷积层本质是一个滑动窗口算子卷积核在每个局部区域做加权求和再用非线性激活保留有效响应。用卷积的通俗理解来说它看到的是“某个像素和周围像素之间的关系”这决定了它对边缘、纹理、颜色突变这类局部特征最敏感。Deepfake 生成器在合成人脸时最容易露馅的区域恰恰是局部性的眼睛边缘出现模糊光晕、牙齿轮廓过渡不自然、发际线附近有伪影、肤色在颧骨处有异常色偏。这些痕迹可能只占据画面中的几十个像素却是卷积模板最擅长响应的模式。把几层卷积堆叠起来逐层从低级边缘组合出中级纹理块实际上就是在建立“脸部实拍特征的多尺度描述子”。在 ViT 混合结构里卷积还有一个额外作用把大尺寸图像快速压缩成较短的 token 序列。input 分辨率 224x224如果直接切成 16x16 的 patch序列长度是 196若先用 stride2 的卷积降到 112x112再切 patch序列长度就减少四分之三Transformer 的计算量和显存占用会显著下降。所以这里卷积不只是特征提取器也是一个有可学习参数的下采样器。2.2 Vision-Transformer 在跨帧关联上补什么Vision-Transformer 的核心是自注意力机制。它在计算每个 token 的输出时会与序列中所有其他 token 做相似度加权。对视频检测token 序列有两个来源同一个画面里切出的空间 patch以及由不同帧特征拼接出的时间序列。前者建模“嘴部和眼睛是否匹配”后者建模“前一帧的嘴型和这一帧的嘴型变化是否合理”。纯 ViT 的问题在于缺少卷积那种“相邻像素天然相关”的先验。要达到同样的精度纯 ViT 通常需要数倍的数据量和更长的训练时间。在 deepfake 这类数据集规模有限、正负样本比例不均衡的实战环境下直接上纯 ViT 训练曲线往往很差。卷积-ViT 混合结构让卷积先把局部关系消化掉Transformer 只负责处理高层的语义关联数据需求就回到一个普通 CNN 项目的量级。实际复现时常见做法有两种一是把卷积层放在网络前端做 stem后面接标准的 Transformer Encoder二是把卷积块嵌入到 Transformer 每一层的 FFN 之前形成交替结构。两者在 Video Deepfake Detection 上的差距不大但前一种结构更简洁、更容易在毕设中解释本文后面采用前一种。2.2.1 帧间一致性是人眼和模型共同的突破口单帧伪造痕迹现在被生成器修得越来越干净但视频是逐帧生成的生成器很难保证相邻 30 帧里睫毛纹理、光照方向、嘴角张合度完全连贯。人眼去看一眼能判断“这个人脸感觉怪”往往就是因为发现了帧间不一致。模型端做同样的事需要给 Transformer 提供帧序信息。一般的处理方式是取出连续 T 帧经过卷积特征提取后的 token 序列在拼入 Encoder 之前加上可学习的位置编码positional embedding。位置编码让注意力可以区分“第 k 帧的嘴部 patch”和“第 k5 帧的嘴部 patch”后续才能学习到“嘴型跳跃过大是可疑的”这类时序规则。不加位置编码的模型会把多帧内容当作无序集合处理帧间信息就废了。2.3 从原始视频到训练样本的通用管线多数组件团队现在用 ffmpeg 抽帧再用 RetinaFace 或 MTCNN 裁剪人脸。主要步骤可以固定为下面几步步骤操作输出1ffmpeg 按固定 FPS 抽帧帧序列 jpg2人脸检测与关键点对齐对齐后的人脸图3裁剪并缩放到 224x224单帧人脸样本4连续取 T 帧拼成序列[T, 3, 224, 224] tensor5按 8:1:1 划分训练/验证/测试数据集索引文件抽帧时建议固定 FPS25不要隔帧抽或按 I 帧抽。直接从 I 帧抽会让模型只见过高画质帧P 帧和 B 帧里的压缩伪影分布完全没学到训练和测试的分布就不一致了。人脸对齐这一步也别省略因为短视频中人物头部会转动不做过对齐同一张人脸在不同帧中的位置偏差会被模型当作“特征”去学习导致误检率上升。3. 用 PyTorch 复现卷积-Vision-Transformer 深度伪造检测项目3.1 工程目录与入口文件典型的 Deepfake 检测工程结构大概长这样deepfake_detection/ ├── configs/ │ └── conv_vit.yaml ├── src/ │ ├── dataset.py │ ├── model.py │ ├── train.py │ └── inference.py ├── weights/ │ └── best_conv_vit.pth ├── data/ │ ├── face_frames/ │ └── train_index.txt └── requirements.txt训练入口是src/train.py推理入口是src/inference.py。configs/conv_vit.yaml里存全部超参数这样跑实验时不用改代码只改 yaml方便毕业设计里做对照实验。3.2 模型代码卷积 Stem Transformer Encoder下面给出一份可以直接跑通的最小实现。这里去掉了一些工程细节保留核心结构。import torch import torch.nn as nn class ConvStem(nn.Module): 卷积stem把224x224x3的图降采样成14x14再铺平为token序列 def __init__(self, in_channels3, embed_dim384): super().__init__() self.conv1 nn.Conv2d(in_channels, 64, kernel_size7, stride2, padding3) self.bn1 nn.BatchNorm2d(64) self.conv2 nn.Conv2d(64, embed_dim, kernel_size3, stride2, padding1) self.bn2 nn.BatchNorm2d(embed_dim) self.gelu nn.GELU() def forward(self, x): # x: [B, T, 3, 224, 224] B, T, C, H, W x.shape x x.view(B * T, C, H, W) x self.gelu(self.bn1(self.conv1(x))) x self.gelu(self.bn2(self.conv2(x))) # 输出 [B*T, embed_dim, 56, 56] _, D, h, w x.shape x x.view(B, T, D, h * w) # 每帧展平成 token 序列 x x.permute(0, 2, 1, 3) # [B, h*w, T, D] x x.reshape(B, h * w * T, D) # 合并成完整序列 return x逻辑说明第一层卷积用大步长把分辨率从 224 压到 112第二层再压到 56。每帧得到 56x563136 个位置但这是 16 帧拼起来之前的数据规模实际上我们不会把所有位置都送进 Transformer因为乘法复杂度太高。常见做法是在 ConvStem 后加一个可学习的 1x1 卷积把空间维度压缩到预设的 token 数或者只取每帧平均池化的特征作为该帧的 token。为简化演示后续假设h*w196在 reshape 前先经过一个nn.Conv2d(embed_dim, embed_dim, kernel_size3, stride2)把分辨率降到 28x28再按 4x4 patch 聚合得到每帧 49 个 token16 帧总计 784 个 token这是 Transformer 能接受的序列长度。Transformer Encoder 复用标准代码即可这里给出基于nn.TransformerEncoderLayer的封装class ConvViT(nn.Module): def __init__(self, num_classes2, embed_dim384, depth6, num_heads8): super().__init__() self.stem ConvStem(embed_dimembed_dim) self.pos_embed nn.Parameter(torch.randn(1, 16 * 49, embed_dim) * 0.02) self.cls_token nn.Parameter(torch.zeros(1, 1, embed_dim)) encoder_layer nn.TransformerEncoderLayer( d_modelembed_dim, nheadnum_heads, dim_feedforwardembed_dim * 4, dropout0.1, activationgelu, batch_firstTrue ) self.encoder nn.TransformerEncoder(encoder_layer, num_layersdepth) self.head nn.Linear(embed_dim, num_classes) def forward(self, x): tokens self.stem(x) # [B, seq_len, D] B, seq_len, D tokens.shape cls_tokens self.cls_token.expand(B, 1, D) tokens torch.cat([cls_tokens, tokens], dim1) tokens tokens self.pos_embed # 叠加位置编码 tokens self.encoder(tokens) cls_out tokens[:, 0] return self.head(cls_out)代码后的参数说明embed_dim384是 token 向量维度depth6是 Encoder 层数num_heads8代表注意力头数dim_feedforward是 FFN 中间层宽度。这个配置在单张 24GB 显卡上跑 16 帧序列、batch size 取 8 时会占用约 14GB 显存。显存不够可以把 depth 降到 4或者把每帧 token 数从 49 降到 25。3.3 训练命令与参数表写一个 yaml 配置文件model: name: conv_vit embed_dim: 384 depth: 6 num_heads: 8 data: frames_per_clip: 16 face_size: 224 train_index: data/train_index.txt val_index: data/val_index.txt train: batch_size: 8 lr: 1.0e-4 weight_decay: 0.05 epochs: 30 warmup_epochs: 3 mixed_precision: true训练命令cd deepfake_detection python src/train.py \ --config configs/conv_vit.yaml \ --output_dir ./runs/exp1训练日志会输出每个 epoch 的准确率、AUC 以及验证集的 loss。我一般会在每个 epoch 结束后保存一次 checkpoint同时把在验证集上 AUC 最高的权重写成weights/best_conv_vit.pth。一些参数的影响范围参数建议范围作用典型误用frames_per_clip8~32时间上下文长度帧数太少帧间模型退化成单帧分类embed_dim192~768特征表达能力毕设数据量小盲目加大易过拟合warmup_epochs2~5稳定训练前期从第一轮就给大 lrloss 容易冲高不降mixed_precisiontrue/false减少显存、加速训练小数据集上开启可能有精度抖动weight_decay0.02~0.1正则化设 0 会导致在 20~30 epoch 时验证指标回落3.4 对单条视频做推理的代码推理脚本要接受一条视频路径输出该视频为 fake 的概率和最终判定。import torch import cv2 from src.model import ConvViT def run_inference(video_path, weights_path, devicecuda): model ConvViT(num_classes2) state torch.load(weights_path, map_locationdevice) model.load_state_dict(state[model]) model.to(device).eval() frames extract_frames(video_path) # 返回 [16, 224, 224, 3] tensor torch.from_numpy(frames).permute(0, 3, 1, 2).float() / 255.0 tensor tensor.unsqueeze(0).to(device) # [1, 16, 3, 224, 224] with torch.no_grad(): logits model(tensor) prob torch.softmax(logits, dim-1)[0, 1].item() return prob这里extract_frames封装了抽帧和对齐逻辑返回的帧需经过与训练时一致的预处理减均值、除方差、归一化到 0~1。很多初学项目在训练时做了 normalization推理时漏掉结果所有视频都输出同一类概率。推理代码跑通后在验证集上抽样 20 条视频比对人工标注确认概率分布没有整体偏移才算管线闭合。4. 参数与踩坑如何把帧级结果聚合成可靠的视频检测结果4.1 帧级 logits 到视频级结果的两类聚合方式模型的输出是针对 16 帧 clip 的不等于整条视频的判定。实际视频动辄几百帧处理方式是滑窗采样每 16 帧一个 clip步长 8对每个 clip 算一个 fake 概率然后把所有 clip 的概率汇总。最简单的是取平均video_score sum(clip_scores) / len(clip_scores)但平均法对极端值敏感某一段画面抖动或压缩异常会让 clip 打出 0.9 的高分拉高整体判定。更稳的是“得分超过阈值 T 的 clip 占比”hot_ratio (clip_scores T).sum() / len(clip_scores) is_fake hot_ratio 0.5这个做法的含义是一条视频中超过一半的片段都出现明显伪造特征才判定为 fake。它比平均法更贴合 deepfake 检测的实际情况——很多真实视频因为低码率或运动模糊也会有一两个片段被判出可疑高分但不会过半。阈值 T 通常取 0.6~0.7hot_ratio 的判定阈值取 0.5 即可。4.2 三个最容易影响最终精度的参数第一个是frames_per_clip。帧数太少模型学不到时间维度的特征帧数太多显存不够且训练变慢。16 帧是性能和效果之间的折中。做消融实验时可以把 8、16、32 三组都跑一遍画一条曲线放进毕设论文会显得实验扎实。第二个是face_size。人脸区域缩放得越大保留的细节越多但占用显存也越多。分辨率从 224 降到 160精确率一般会下降 2~4 个点但显存占用减半。对算力有限的情况我一般建议用 160 做前期调参最后再上 224 跑最终权重。第三个是损失函数和类别不均衡。公开的 deepfake 数据集里 fake 和 real 样本数往往不是 1:1直接用交叉熵会让模型偏向样本多的类别。用torch.nn.CrossEntropyLoss(weightclass_weight)或者改用 focal loss 都可以。focal loss 的做法是让模型把注意力集中在难分类的样本上公式大致是FL -alpha * (1-p)^gamma * log(p)gamma取 2.0 时对难样本的提升最明显。4.3 容易被误判为 fake 的真实视频与常见坑低分辨率且压缩率高的视频真实视频在低码率下出现块效应和边缘振铃卷积层提取到的伪影模式与 deepfake 相似。应对方法是训练时做压缩域增强对训练帧随机降低 JPEG 质量到 50~80 再输入。快速运动的视频运动模糊会让特征提取器输出异常尖锐的响应。这种视频建议在聚合阶段结合光流信息判断或者直接丢弃运动幅度过大的 clip。头部大幅度旋转人脸对齐后仍可能包含遮挡或特殊姿态模型没见过类似数据时倾向输出高风险。数据增强里加一个随机旋转±10 度加水平翻转能显著改善。一个很常见的坑是训练和测试数据来自同一个生成器导致模型学到的是生成器特有的棋盘伪影而不是通用的人脸伪造痕迹。泛化性验证必须用两个不同来源的测试集比如训练用数据集 A 的全部测数据集 B 的全部。如果 AUC 从 0.97 跌到 0.70 左右说明模型过拟合到数据源而不是学到了检测逻辑。混入多来源数据再训练可以让分数回升到 0.85 附近这也是毕设里值得写的一段对比实验。5. 让 Deepfake 检测通过验收生成可核验的检测证据5.1 用连续帧差异替代逐帧独立判断大部分 deepfake 检测项目止步于“给一个概率”但验收方更关心的是“你为什么判定它是假的”。一个有效的验证技巧是把相邻帧 token 的差异作为补充特征输出成可解释的热力图。# 计算相邻帧 token 均值向量的欧氏距离 clip_tokens model.stem(frames) # [1, seq_len, D] seq_len clip_tokens.shape[1] frame_means clip_tokens.reshape(1, frames_per_clip, -1, D).mean(dim2) diffs torch.norm(frame_means[:, 1:] - frame_means[:, :-1], dim-1) suspicious_frame_idx diffs.argmax().item() 1逻辑说明如果第k1帧与第k帧的特征变化远大于其他相邻帧的差异说明这一帧在画面内容没有剧烈变化的情况下发生了突变这正是逐帧生成器交接点最常出现的痕迹。把这个突变帧从视频里截出来加上前后各 3 帧一起画成拼接图验收人员一眼就能看到“这一帧嘴型跳变、下一帧又跳回”的异常形态。5.2 输出一份可复现的检测报告推理脚本增加--save-report参数后把下面这些字段写进 JSON 和一份 PNG 拼接图{ video: demo_002.mp4, duration_sec: 12.4, clip_num: 28, hot_clip_ratio: 0.67, video_score: 0.72, verdict: Fake, suspicious_frames: [34, 35, 36], model_version: conv_vit_depth6_embed384, threshold: 0.6 }报告里带上model_version和suspicious_frames才能让人按图索骥去复核。很多项目只输出一个 verdict老师或客户想复核时无法定位到具体帧最后只能靠信任模型输出这在实际验收中很难让人信服。加上这些字段后从“模型说它是假的”变成“模型指出第 34 到 36 帧存在异常阈值是 0.628 个片段中有 67% 超过阈值”结论就变成可核验的了。5.3 最后验证模型不是“作弊”在编写最终报告前再跑一轮交叉验证把测试集按视频来源分组或者换成完全没参与训练的数据集生成器重新运行推理。如果测试集上 AUC 与验证集相差超过 0.1就要回头检查是否有人脸对齐的 bug、数据泄漏或重复帧混入训练集。检查数据泄漏的最快方式是打印训练和测试样本的文件路径人工扫描是否有同名视频被分到了两边。确认无误后把上面的推理命令、参数和 JSON 报告一起放进运行说明整个源码模型运行说明的交付链路才算闭合。本文还有配套的精品资源点击获取 卷积+Vision Transformer：Deepfake视频检测原理与PyTorch实现
简介面向毕业设计场景的深度伪造视频检测完整实现包基于卷积视觉Transformer架构整合源码、预训练权重与运行说明适合计算机视觉方向学生完成换脸视频鉴别实验或相关课题研究。压缩包总计196个文件包含167张jpg图像样本、13个mp4测试视频、9个Python源码文件另附pth模型权重、csv预测结果、json配置、pkl数据文件与npy数组等整体大小约80.29MB目录结构较为紧凑便于按图像、视频、代码和文档分类检索。目前已有74人学习下载。资料覆盖从数据准备、模型构建到推理预测的完整流程pth权重可直接加载用于检测csv预测结果有助于分析模型输出配套的PPT讲解和Markdown运行文档能够辅助理解工程实现细节与调参思路。对需要提交毕业设计成果或入门Deepfake检测的开发者来说是一份兼顾算法原理与落地实践的参考方案。1. Deepfake 视频检测为什么要把卷积叠加到 Vision-Transformer 上Deepfake 视频检测表面上是在回答“这段视频是真还是假”实际上要解决的是两个完全不同的问题单帧画面里有没有伪造痕迹以及连续帧之间有没有时间维度上的不自然。前者靠局部纹理后者靠全局关联单一模型很难两头兼顾。纯卷积神经网络捕获局部边缘、模糊和色度异常很拿手但感受野有限跨帧线索捕捉不到纯 Vision-Transformer 视野够广却缺少卷积的归纳偏置在训练数据不够大的时候容易欠拟合。“卷积 Vision-Transformer”的做法就是在同一个网络里先用卷积做特征提取和降采样再把特征序列交给 Transformer 编码器做全局建模。对毕业设计来说这个方向复现成本可控、参数解释空间大也容易出可展示的检测效果。本文按“检测原理 → 工程落地 → 参数调优 → 验收技巧”展开适合正在做 deepfake 相关选题的学生和想快速评估混合架构投入产出比的内容审核从业者。2. 卷积与 Vision-Transformer 的检测分工人脸伪造痕迹和时序一致性2.1 卷积模块在单帧图像上找什么卷积层本质是一个滑动窗口算子卷积核在每个局部区域做加权求和再用非线性激活保留有效响应。用卷积的通俗理解来说它看到的是“某个像素和周围像素之间的关系”这决定了它对边缘、纹理、颜色突变这类局部特征最敏感。Deepfake 生成器在合成人脸时最容易露馅的区域恰恰是局部性的眼睛边缘出现模糊光晕、牙齿轮廓过渡不自然、发际线附近有伪影、肤色在颧骨处有异常色偏。这些痕迹可能只占据画面中的几十个像素却是卷积模板最擅长响应的模式。把几层卷积堆叠起来逐层从低级边缘组合出中级纹理块实际上就是在建立“脸部实拍特征的多尺度描述子”。在 ViT 混合结构里卷积还有一个额外作用把大尺寸图像快速压缩成较短的 token 序列。input 分辨率 224x224如果直接切成 16x16 的 patch序列长度是 196若先用 stride2 的卷积降到 112x112再切 patch序列长度就减少四分之三Transformer 的计算量和显存占用会显著下降。所以这里卷积不只是特征提取器也是一个有可学习参数的下采样器。2.2 Vision-Transformer 在跨帧关联上补什么Vision-Transformer 的核心是自注意力机制。它在计算每个 token 的输出时会与序列中所有其他 token 做相似度加权。对视频检测token 序列有两个来源同一个画面里切出的空间 patch以及由不同帧特征拼接出的时间序列。前者建模“嘴部和眼睛是否匹配”后者建模“前一帧的嘴型和这一帧的嘴型变化是否合理”。纯 ViT 的问题在于缺少卷积那种“相邻像素天然相关”的先验。要达到同样的精度纯 ViT 通常需要数倍的数据量和更长的训练时间。在 deepfake 这类数据集规模有限、正负样本比例不均衡的实战环境下直接上纯 ViT 训练曲线往往很差。卷积-ViT 混合结构让卷积先把局部关系消化掉Transformer 只负责处理高层的语义关联数据需求就回到一个普通 CNN 项目的量级。实际复现时常见做法有两种一是把卷积层放在网络前端做 stem后面接标准的 Transformer Encoder二是把卷积块嵌入到 Transformer 每一层的 FFN 之前形成交替结构。两者在 Video Deepfake Detection 上的差距不大但前一种结构更简洁、更容易在毕设中解释本文后面采用前一种。2.2.1 帧间一致性是人眼和模型共同的突破口单帧伪造痕迹现在被生成器修得越来越干净但视频是逐帧生成的生成器很难保证相邻 30 帧里睫毛纹理、光照方向、嘴角张合度完全连贯。人眼去看一眼能判断“这个人脸感觉怪”往往就是因为发现了帧间不一致。模型端做同样的事需要给 Transformer 提供帧序信息。一般的处理方式是取出连续 T 帧经过卷积特征提取后的 token 序列在拼入 Encoder 之前加上可学习的位置编码positional embedding。位置编码让注意力可以区分“第 k 帧的嘴部 patch”和“第 k5 帧的嘴部 patch”后续才能学习到“嘴型跳跃过大是可疑的”这类时序规则。不加位置编码的模型会把多帧内容当作无序集合处理帧间信息就废了。2.3 从原始视频到训练样本的通用管线多数组件团队现在用 ffmpeg 抽帧再用 RetinaFace 或 MTCNN 裁剪人脸。主要步骤可以固定为下面几步步骤操作输出1ffmpeg 按固定 FPS 抽帧帧序列 jpg2人脸检测与关键点对齐对齐后的人脸图3裁剪并缩放到 224x224单帧人脸样本4连续取 T 帧拼成序列[T, 3, 224, 224] tensor5按 8:1:1 划分训练/验证/测试数据集索引文件抽帧时建议固定 FPS25不要隔帧抽或按 I 帧抽。直接从 I 帧抽会让模型只见过高画质帧P 帧和 B 帧里的压缩伪影分布完全没学到训练和测试的分布就不一致了。人脸对齐这一步也别省略因为短视频中人物头部会转动不做过对齐同一张人脸在不同帧中的位置偏差会被模型当作“特征”去学习导致误检率上升。3. 用 PyTorch 复现卷积-Vision-Transformer 深度伪造检测项目3.1 工程目录与入口文件典型的 Deepfake 检测工程结构大概长这样deepfake_detection/ ├── configs/ │ └── conv_vit.yaml ├── src/ │ ├── dataset.py │ ├── model.py │ ├── train.py │ └── inference.py ├── weights/ │ └── best_conv_vit.pth ├── data/ │ ├── face_frames/ │ └── train_index.txt └── requirements.txt训练入口是src/train.py推理入口是src/inference.py。configs/conv_vit.yaml里存全部超参数这样跑实验时不用改代码只改 yaml方便毕业设计里做对照实验。3.2 模型代码卷积 Stem Transformer Encoder下面给出一份可以直接跑通的最小实现。这里去掉了一些工程细节保留核心结构。import torch import torch.nn as nn class ConvStem(nn.Module): 卷积stem把224x224x3的图降采样成14x14再铺平为token序列 def __init__(self, in_channels3, embed_dim384): super().__init__() self.conv1 nn.Conv2d(in_channels, 64, kernel_size7, stride2, padding3) self.bn1 nn.BatchNorm2d(64) self.conv2 nn.Conv2d(64, embed_dim, kernel_size3, stride2, padding1) self.bn2 nn.BatchNorm2d(embed_dim) self.gelu nn.GELU() def forward(self, x): # x: [B, T, 3, 224, 224] B, T, C, H, W x.shape x x.view(B * T, C, H, W) x self.gelu(self.bn1(self.conv1(x))) x self.gelu(self.bn2(self.conv2(x))) # 输出 [B*T, embed_dim, 56, 56] _, D, h, w x.shape x x.view(B, T, D, h * w) # 每帧展平成 token 序列 x x.permute(0, 2, 1, 3) # [B, h*w, T, D] x x.reshape(B, h * w * T, D) # 合并成完整序列 return x逻辑说明第一层卷积用大步长把分辨率从 224 压到 112第二层再压到 56。每帧得到 56x563136 个位置但这是 16 帧拼起来之前的数据规模实际上我们不会把所有位置都送进 Transformer因为乘法复杂度太高。常见做法是在 ConvStem 后加一个可学习的 1x1 卷积把空间维度压缩到预设的 token 数或者只取每帧平均池化的特征作为该帧的 token。为简化演示后续假设h*w196在 reshape 前先经过一个nn.Conv2d(embed_dim, embed_dim, kernel_size3, stride2)把分辨率降到 28x28再按 4x4 patch 聚合得到每帧 49 个 token16 帧总计 784 个 token这是 Transformer 能接受的序列长度。Transformer Encoder 复用标准代码即可这里给出基于nn.TransformerEncoderLayer的封装class ConvViT(nn.Module): def __init__(self, num_classes2, embed_dim384, depth6, num_heads8): super().__init__() self.stem ConvStem(embed_dimembed_dim) self.pos_embed nn.Parameter(torch.randn(1, 16 * 49, embed_dim) * 0.02) self.cls_token nn.Parameter(torch.zeros(1, 1, embed_dim)) encoder_layer nn.TransformerEncoderLayer( d_modelembed_dim, nheadnum_heads, dim_feedforwardembed_dim * 4, dropout0.1, activationgelu, batch_firstTrue ) self.encoder nn.TransformerEncoder(encoder_layer, num_layersdepth) self.head nn.Linear(embed_dim, num_classes) def forward(self, x): tokens self.stem(x) # [B, seq_len, D] B, seq_len, D tokens.shape cls_tokens self.cls_token.expand(B, 1, D) tokens torch.cat([cls_tokens, tokens], dim1) tokens tokens self.pos_embed # 叠加位置编码 tokens self.encoder(tokens) cls_out tokens[:, 0] return self.head(cls_out)代码后的参数说明embed_dim384是 token 向量维度depth6是 Encoder 层数num_heads8代表注意力头数dim_feedforward是 FFN 中间层宽度。这个配置在单张 24GB 显卡上跑 16 帧序列、batch size 取 8 时会占用约 14GB 显存。显存不够可以把 depth 降到 4或者把每帧 token 数从 49 降到 25。3.3 训练命令与参数表写一个 yaml 配置文件model: name: conv_vit embed_dim: 384 depth: 6 num_heads: 8 data: frames_per_clip: 16 face_size: 224 train_index: data/train_index.txt val_index: data/val_index.txt train: batch_size: 8 lr: 1.0e-4 weight_decay: 0.05 epochs: 30 warmup_epochs: 3 mixed_precision: true训练命令cd deepfake_detection python src/train.py \ --config configs/conv_vit.yaml \ --output_dir ./runs/exp1训练日志会输出每个 epoch 的准确率、AUC 以及验证集的 loss。我一般会在每个 epoch 结束后保存一次 checkpoint同时把在验证集上 AUC 最高的权重写成weights/best_conv_vit.pth。一些参数的影响范围参数建议范围作用典型误用frames_per_clip8~32时间上下文长度帧数太少帧间模型退化成单帧分类embed_dim192~768特征表达能力毕设数据量小盲目加大易过拟合warmup_epochs2~5稳定训练前期从第一轮就给大 lrloss 容易冲高不降mixed_precisiontrue/false减少显存、加速训练小数据集上开启可能有精度抖动weight_decay0.02~0.1正则化设 0 会导致在 20~30 epoch 时验证指标回落3.4 对单条视频做推理的代码推理脚本要接受一条视频路径输出该视频为 fake 的概率和最终判定。import torch import cv2 from src.model import ConvViT def run_inference(video_path, weights_path, devicecuda): model ConvViT(num_classes2) state torch.load(weights_path, map_locationdevice) model.load_state_dict(state[model]) model.to(device).eval() frames extract_frames(video_path) # 返回 [16, 224, 224, 3] tensor torch.from_numpy(frames).permute(0, 3, 1, 2).float() / 255.0 tensor tensor.unsqueeze(0).to(device) # [1, 16, 3, 224, 224] with torch.no_grad(): logits model(tensor) prob torch.softmax(logits, dim-1)[0, 1].item() return prob这里extract_frames封装了抽帧和对齐逻辑返回的帧需经过与训练时一致的预处理减均值、除方差、归一化到 0~1。很多初学项目在训练时做了 normalization推理时漏掉结果所有视频都输出同一类概率。推理代码跑通后在验证集上抽样 20 条视频比对人工标注确认概率分布没有整体偏移才算管线闭合。4. 参数与踩坑如何把帧级结果聚合成可靠的视频检测结果4.1 帧级 logits 到视频级结果的两类聚合方式模型的输出是针对 16 帧 clip 的不等于整条视频的判定。实际视频动辄几百帧处理方式是滑窗采样每 16 帧一个 clip步长 8对每个 clip 算一个 fake 概率然后把所有 clip 的概率汇总。最简单的是取平均video_score sum(clip_scores) / len(clip_scores)但平均法对极端值敏感某一段画面抖动或压缩异常会让 clip 打出 0.9 的高分拉高整体判定。更稳的是“得分超过阈值 T 的 clip 占比”hot_ratio (clip_scores T).sum() / len(clip_scores) is_fake hot_ratio 0.5这个做法的含义是一条视频中超过一半的片段都出现明显伪造特征才判定为 fake。它比平均法更贴合 deepfake 检测的实际情况——很多真实视频因为低码率或运动模糊也会有一两个片段被判出可疑高分但不会过半。阈值 T 通常取 0.6~0.7hot_ratio 的判定阈值取 0.5 即可。4.2 三个最容易影响最终精度的参数第一个是frames_per_clip。帧数太少模型学不到时间维度的特征帧数太多显存不够且训练变慢。16 帧是性能和效果之间的折中。做消融实验时可以把 8、16、32 三组都跑一遍画一条曲线放进毕设论文会显得实验扎实。第二个是face_size。人脸区域缩放得越大保留的细节越多但占用显存也越多。分辨率从 224 降到 160精确率一般会下降 2~4 个点但显存占用减半。对算力有限的情况我一般建议用 160 做前期调参最后再上 224 跑最终权重。第三个是损失函数和类别不均衡。公开的 deepfake 数据集里 fake 和 real 样本数往往不是 1:1直接用交叉熵会让模型偏向样本多的类别。用torch.nn.CrossEntropyLoss(weightclass_weight)或者改用 focal loss 都可以。focal loss 的做法是让模型把注意力集中在难分类的样本上公式大致是FL -alpha * (1-p)^gamma * log(p)gamma取 2.0 时对难样本的提升最明显。4.3 容易被误判为 fake 的真实视频与常见坑低分辨率且压缩率高的视频真实视频在低码率下出现块效应和边缘振铃卷积层提取到的伪影模式与 deepfake 相似。应对方法是训练时做压缩域增强对训练帧随机降低 JPEG 质量到 50~80 再输入。快速运动的视频运动模糊会让特征提取器输出异常尖锐的响应。这种视频建议在聚合阶段结合光流信息判断或者直接丢弃运动幅度过大的 clip。头部大幅度旋转人脸对齐后仍可能包含遮挡或特殊姿态模型没见过类似数据时倾向输出高风险。数据增强里加一个随机旋转±10 度加水平翻转能显著改善。一个很常见的坑是训练和测试数据来自同一个生成器导致模型学到的是生成器特有的棋盘伪影而不是通用的人脸伪造痕迹。泛化性验证必须用两个不同来源的测试集比如训练用数据集 A 的全部测数据集 B 的全部。如果 AUC 从 0.97 跌到 0.70 左右说明模型过拟合到数据源而不是学到了检测逻辑。混入多来源数据再训练可以让分数回升到 0.85 附近这也是毕设里值得写的一段对比实验。5. 让 Deepfake 检测通过验收生成可核验的检测证据5.1 用连续帧差异替代逐帧独立判断大部分 deepfake 检测项目止步于“给一个概率”但验收方更关心的是“你为什么判定它是假的”。一个有效的验证技巧是把相邻帧 token 的差异作为补充特征输出成可解释的热力图。# 计算相邻帧 token 均值向量的欧氏距离 clip_tokens model.stem(frames) # [1, seq_len, D] seq_len clip_tokens.shape[1] frame_means clip_tokens.reshape(1, frames_per_clip, -1, D).mean(dim2) diffs torch.norm(frame_means[:, 1:] - frame_means[:, :-1], dim-1) suspicious_frame_idx diffs.argmax().item() 1逻辑说明如果第k1帧与第k帧的特征变化远大于其他相邻帧的差异说明这一帧在画面内容没有剧烈变化的情况下发生了突变这正是逐帧生成器交接点最常出现的痕迹。把这个突变帧从视频里截出来加上前后各 3 帧一起画成拼接图验收人员一眼就能看到“这一帧嘴型跳变、下一帧又跳回”的异常形态。5.2 输出一份可复现的检测报告推理脚本增加--save-report参数后把下面这些字段写进 JSON 和一份 PNG 拼接图{ video: demo_002.mp4, duration_sec: 12.4, clip_num: 28, hot_clip_ratio: 0.67, video_score: 0.72, verdict: Fake, suspicious_frames: [34, 35, 36], model_version: conv_vit_depth6_embed384, threshold: 0.6 }报告里带上model_version和suspicious_frames才能让人按图索骥去复核。很多项目只输出一个 verdict老师或客户想复核时无法定位到具体帧最后只能靠信任模型输出这在实际验收中很难让人信服。加上这些字段后从“模型说它是假的”变成“模型指出第 34 到 36 帧存在异常阈值是 0.628 个片段中有 67% 超过阈值”结论就变成可核验的了。5.3 最后验证模型不是“作弊”在编写最终报告前再跑一轮交叉验证把测试集按视频来源分组或者换成完全没参与训练的数据集生成器重新运行推理。如果测试集上 AUC 与验证集相差超过 0.1就要回头检查是否有人脸对齐的 bug、数据泄漏或重复帧混入训练集。检查数据泄漏的最快方式是打印训练和测试样本的文件路径人工扫描是否有同名视频被分到了两边。确认无误后把上面的推理命令、参数和 JSON 报告一起放进运行说明整个源码模型运行说明的交付链路才算闭合。本文还有配套的精品资源点击获取