简介面向深度学习方向的毕业设计、课程设计与期末大作业需求这份资源包提供完整的驾驶员分心驾驶行为识别项目内容涵盖源码、数据集、预训练模型与配套论文。项目基于VGG16、VGG19、ResNet50、InceptionV3、Xception等主流卷积神经网络进行迁移学习与微调并附有数据可视化、瓶颈特征提取、数据集划分等完整流程脚本代码注释详细新手也能按步骤复现。压缩包共三十一个文件其中包含九个Jupyter Notebook工作簿、九个HTML可视化报告、四个Python工具脚本、两篇PDF论文与两份Word版毕业论文、两个演示GIF以及说明文件整体大小65.36MB文件组织清晰便于按模块查阅和部署。目前已有七百三十九人学习下载常被用作毕业设计参考和课程设计高分项目。资源可直接支撑模型对比实验、论文写作与答辩展示帮助节省大量数据准备和调参时间具有很高的实用价值。1. 基于深度学习的驾驶员分心识别一个能把源码、数据和论文串起来的毕设方向开车时低头看手机、伸手拿水杯、回头和后座聊天这些动作在事故成因里出现频率高得吓人。驾驶员分心驾驶行为识别本质上就是把车载摄像头对准司机用深度学习模型判断当前帧属于哪一类分心动作。这个标题给定的交付形态很完整模型负责识别数据集负责训练和验证源码负责把数据落到模型上论文负责把过程讲成能答辩的成果。这个方向适合两类人——计算机视觉、电子信息方向想找落地型毕设的本科生以及在做驾驶员状态监测DMS预研、需要一个可迭代 baseline 的工程师。它不是一个入门 demo 式的题难点不在“把模型跑起来”而在数据分布、类别失衡和实时性这三个坎。下面按三条线展开。2. 先定骨架再动数据分类、检测、时空三种模型的选型与数据集结构2.1 三类模型各自的适用场景为什么分类先做主线分心驾驶识别业界主流有三条技术路线它们不是对错关系是成本和收益的关系。第一种是纯图像分类输入一帧驾驶室图像模型输出 c0 到 c9 共十类行为。这里说的十类几乎是这个领域的“默认类别集”来自著名的 State Farm 分心驾驶公开竞赛安全驾驶、右手发消息、右手打电话、左手发消息、左手打电话、操作收音机、喝水、拿后座物品、化妆或整理头发、与乘客交谈。分类路线实现最简单公开数据集可以直接用论文里也容易做对比。缺点是它只输出行为类别不告诉你“手在哪、手机在哪”。第二种是目标检测模型输出边界框加类别比如先框出驾驶员手部区域、手机和水杯再根据空间关系判断行为。好处是解释性强可扩展去做安全带、方向盘脱离检测缺点是公开数据集很少带框得自己标注工作量上了一个台阶。第三种是时空模型CNN LSTM、SlowFast 这类结构输入连续多帧能捕捉“拿手机”到“放到耳边”的动态过程。它能区分静态的“手在手机上”和真正的“正在打电话”但显存占用、训练难度都高数据标注成本更大。我一般给做毕设的同学建议是主线用图像分类把目标检测和时序模型作为扩展对比实验。主线保证能复现、能写清楚扩展部分体现工作量。这个任务上 YOLOv8 比较讨巧因为它同时提供 classify 和 detect 两条训练管线一条命令就能切换天然适合做这种“一鱼两吃”的对比实验。2.2 公开数据集与自建数据的构成十类行为的定义和目录结构起步阶段最快拿到的是 State Farm 分心驾驶数据集。它的训练集目录结构很规整train 目录下按类别拆成 c0 到 c9 十个子目录每个子目录存放对应行为的图片。整体样本量在两万张以上类别大致均衡但 c6喝水和 c7拿后座物品这类样本天然偏少后面要专门处理。还有一个 test 目录但没有标签只能拿来跑预测展示不能用于评估。这套数据有个显著特点图片来自驾驶模拟器和真实车辆混拍驾驶员位姿多样但背景相对固定。这意味着模型很容易记住背景而不是记住动作——这是后面实战中最大的坑先埋个伏笔。自建数据也不难手机固定在副驾驶位或挡风玻璃上方拍一段车内视角就行。建议覆盖三个光线时段白天逆光、傍晚、夜间仪表盘亮的环境。采集时让驾驶员自然做动作不要太表演否则模型学到的全是夸张姿态。目录结构建议保持和公开数据集一致方便后续脚本复用state-farm/ ├── train/ │ ├── c0/ │ │ ├── img_100.jpg │ │ └── ... │ ├── c1/ │ ├── ... │ └── c9/ ├── test/ └── driver_sample_submission.csv2.3 用 Python 脚本完成数据集划分与初筛拿到原始数据后第一件事不是训练是划分训练集和验证集。很多新手直接把 train 全部喂进去结果验证时才发现模型过拟合了都不知道。按 8:2 比例随机划分固定随机种子保证每次实验可比。import random import shutil from pathlib import Path # 原始数据集train/c0 ~ train/c9 src Path(state-farm/train) dst Path(driver_distraction) val_ratio 0.2 random.seed(42) for label_dir in src.iterdir(): if not label_dir.is_dir(): continue images list(label_dir.glob(*.jpg)) random.shuffle(images) n_val int(len(images) * val_ratio) val_images, train_images images[:n_val], images[n_val:] for subset, imgs in [(train, train_images), (val, val_images)]: out_dir dst / subset / label_dir.name out_dir.mkdir(parentsTrue, exist_okTrue) for img in imgs: shutil.copy(str(img), out_dir / img.name) # 打印每个子集的类别样本数确认划分没有切空 for subset in [train, val]: for label_dir in sorted((dst / subset).iterdir()): n len(list(label_dir.glob(*.jpg))) print(subset, label_dir.name, n)这个脚本的逻辑是按类别目录分别划分保证每个类别在训练集和验证集里的相对比例一致不会出现验证集里某个类别只剩几张图的情况。random.seed(42)很重要它决定后续所有实验能否复现如果你换了个 seed实验结果可能完全变样论文里必须写明。val_ratio0.2是分类任务的常用值如果你的数据量只有几千张可以改成 0.15留更多数据给训练。划分完还要做一次初筛。我的习惯是每类随机抽 20 张图出来人工看一遍主要看三类问题标签是否错放、是否存在严重模糊、是否有重复帧。公开数据集里偶尔有裁剪后只剩方向盘、主体缺失的坏样本这类图对训练是纯噪声直接删掉比留着强。2.4 数据增强的边界水平翻转之前先想清楚左右手类别数据增强是深度学习 CNN 模型减少过拟合最直接的手段但对这个任务有一个容易翻车的细节水平翻转。翻转本身没有错错的是翻转后标签没有跟着换。看下类别定义c1 是右手发消息c2 是右手打电话c3 是左手发消息c4 是左手打电话。如果把一张“右手发消息”的图片做水平翻转画面上的人变成了“左手发消息”标签应该从 c1 改成 c3。同理 c2 和 c4 互换。如果不管这个对应关系模型会被同时喂进左右手矛盾的样本训练损失下不去的根源往往就在这。常见的增强组合我列一份直接可用的随机亮度调整范围 ±30%模拟车内光线变化随机对比度调整范围 ±20%随机灰度化概率 10%强制模型别依赖颜色信息随机缩放裁剪比例 0.8 到 1.0裁剪后缩回原尺寸水平翻转但必须配合左右手类别映射表垂直翻转不能用。驾驶室视角有明确的上下语义翻转后图像完全不符合物理规律只会把模型带偏。3. 用 YOLOv8 训练自己的数据集配置文件、训练命令与参数调法3.1 把数据集描述成 YOLO 认识的 YAMLYOLOv8 官方框架对数据集的描述方式是一个 YAML 文件里面写清楚路径、训练集子目录、验证集子目录和类别名。示例放在和train同级的目录下。# driver_distraction.yaml path: ./driver_distraction train: train val: val nc: 10 names: 0: safe_driving 1: texting_right 2: calling_right 3: texting_left 4: calling_left 5: operating_radio 6: drinking 7: reaching_behind 8: hair_makeup 9: talking_to_passenger这里的nc必须和names的条目数一致少一个多一个都会在训练启动时报错。names的顺序也不是随便写的它必须和前面目录里的 c0 到 c9 对应上。最常见的低级错误是 category 目录名和 names 顺序没对齐模型训练完了才发现 c1 和 c3 含义调换了这时候只能重新训。3.2 一行命令跑通 yolov8n-cls 分类训练YOLOv8 的分类模式和检测模式是分开的。分类训练用classify train命令如下yolo classify train datadriver_distraction.yaml \ modelyolov8n-cls.pt \ epochs80 imgsz224 batch64 \ lr00.01 lrf0.01 \ patience10 device0拆开看每个参数的意义。modelyolov8n-cls.pt是官方提供的预训练分类权重n 是 nano 版本体量最小、适合起步如果你的机器显存充足可以换成yolov8s-cls.pt准确率通常会高 2 到 3 个百分点。imgsz224是输入分辨率分心驾驶的图片主体是驾驶员224 足够盲目上 448 会显著拖慢训练和推理收益却不大。lr00.01是初始学习率这个值对预训练模型微调是合理起点如果是从零训练0.01 往往偏高后面会说到怎么判断。patience10是早停参数验证指标连续 10 个 epoch 不提升就停止训练既省时间又防止过拟合。训练结束后结果保存在runs/classify/train/目录下。weights/best.pt是验证集上表现最好的权重weights/last.pt是最后一轮权重——一般用 best.pt。目录里还有results.png、confusion_matrix.png等图表可以直接放进论文但要注意格式调整。3.3 论文想体现工作量自定义 ResNet 训练脚本的骨架只用官方命令行训练论文里容易被评委说“工作量不足”。一个折中的办法是自己搭一个基于 ResNet 的分类模型训练循环自己写。代码骨架如下import torch import torch.nn as nn from torch.utils.data import DataLoader from torchvision import models, transforms, datasets class DistractionCNN(nn.Module): def __init__(self, num_classes10): super().__init__() self.backbone models.resnet18(pretrainedTrue) # 替换最后一层全连接加 Dropout 抑制过拟合 self.backbone.fc nn.Sequential( nn.Dropout(0.3), nn.Linear(self.backbone.fc.in_features, num_classes) ) def forward(self, x): return self.backbone(x) transform transforms.Compose([ transforms.Resize((224, 224)), transforms.RandomHorizontalFlip(), transforms.ColorJitter(brightness0.3, contrast0.2), transforms.ToTensor(), transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225]) ]) dataset datasets.ImageFolder(driver_distraction/train, transformtransform) loader DataLoader(dataset, batch_size64, shuffleTrue, num_workers4) model DistractionCNN().cuda() criterion nn.CrossEntropyLoss() optimizer torch.optim.AdamW(model.parameters(), lr1e-4, weight_decay1e-4) for epoch in range(50): model.train() total_loss 0.0 for images, labels in loader: outputs model(images.cuda()) loss criterion(outputs, labels.cuda()) optimizer.zero_grad() loss.backward() optimizer.step() total_loss loss.item() print(fepoch {epoch1}, loss {total_loss / len(loader):.4f})这段脚本里有两个细节值得在论文里展开。第一个是pretrainedTrue用 ImageNet 预训练权重做初始化对这个小数据集来说几乎决定成败从零训练大概率只能到 85% 左右预训练微调能上 95%。第二个是Dropout(0.3)放在全连接层前这是针对背景过拟合的有效手段后面避坑章会再讲。AdamW的weight_decay1e-4是 L2 正则同样用于抑制过拟合。这个脚本没有写验证逻辑做实验时要补上每个 epoch 结束后在验证集算一次准确率保存最佳模型。这个验证逻辑建议你自己写写一遍才能吃透训练和评估的完整闭环。3.4 训练日志怎么读损失下降、过拟合、早停的判断依据训练不是等命令跑完就结束要学会读日志。YOLOv8 在控制台会打印每个 epoch 的损失和 Top-1 准确率同时把曲线画进results.png。我判断训练状态就看三点。第一看训练损失有没有在合理范围内下降。如果损失在最初几个 epoch 里完全不降甚至上升先检查学习率是否太高或者数据集路径有没有对、标签有没有配错。第二看训练准确率和验证准确率的差距这个差距超过 5 个百分点基本可以断定过拟合在加剧。第三看验证损失曲线。验证损失先降后升是典型的过拟合信号说明模型开始背训练集了这时候早停参数patience会自动拦住。如果你的训练是自己写的循环没实现早停就得靠手工盯。还有一类情况验证准确率在某个值附近上下波动损失怎么也降不下来。这通常是数据问题比如左右手翻转后标签没换或者存在大量重复的相似帧。日志里准确率到 95% 以上再想提升拼的就不是网络结构而是数据质量。4. 毕设论文的实验设计评估指标、对比表格与消融实验4.1 别只看准确率先定好指标清单再开始跑实验毕设论文里如果只写一个准确率评审大概率会问“你的模型漏报最多的是哪一类”。分心驾驶识别是典型的不均衡多分类任务虽然 State Farm 数据集类别大体均衡但实际场景里正常驾驶的帧数远远多于喝水、化妆这些动作这就要求评估必须看多维度指标。我建议在论文里固定一套指标清单Top-1 准确率、Top-5 准确率、加权精确率、加权召回率、加权 F1 分数以及运行性能侧的每帧推理耗时和 FPS。Top-5 在十类任务里意义不大但写上不亏评委看到了会觉得考虑周全。加权召回率和加权 F1 是类别不均衡时的核心指标比准确率诚实得多。运行性能指标必须明确写清测试硬件不能只说“实时”要写“i5-1240P CPU 上单帧 68ms”。4.2 可以直接套用的实验结果表与类别召回明细表论文里至少要有两张表。第一张是模型总对比表列出不同模型或不同配置的整体指标。以下是一张模板数字先留空用你自己的实验填充模型输入尺寸Top-1 准确率加权 F1CPU 单帧延迟ResNet18 从零训练224ResNet18 预训练微调224YOLOv8n-cls224YOLOv8s-cls224第二张是类别召回率明细表因为它能暴露模型在哪类行为上失效。这张表的行是 c0 到 c9列可以是训练/验证集上的召回率。正常来说安全驾驶c0的召回率最高喝水c6、拿后座物品c7容易偏低。如果看到哪一类明显偏低论文后续章节就围绕它做针对性优化这比笼统说“模型准确率达到 96%”有说服力得多。4.3 消融实验做哪三组论文工作量才立得住消融实验的目的是证明你每个设计决策都有依据。对分心驾驶识别这个题目三组消融就足够支撑论文深度。第一组预训练权重对比从零训练。用同一份数据、同一个模型结构只改初始化方式。这组实验能说明迁移学习在小规模驾驶员数据集上的价值。第二组数据增强开关。训练时开启增强和关闭增强观察验证集准确率差异同时观察训练验证准确率差距证明增强在抑制过拟合中的作用。第三组模型容量对比YOLOv8n 和 YOLOv8s 或 ResNet18 和 ResNet34。这组实验用来讨论精度和速度的权衡结论通常是小模型也能达到接近大模型的效果但推理快很多。如果主线已经用分类模型建议再补一个“分类 vs 检测”的对照实验用 YOLOv8 detect 模式训练一个检测驾驶员手部或手机位置的模型对比两种任务形态下的指标差异。这个实验能引出“为什么最终选分类作为主线”的结论论文的讨论部分就显得饱满。4.4 图表顺序让评委顺着你的逻辑看到模型在改进论文图片的组织顺序也是一门小技巧。我的习惯是这样排。先放数据样张和类别分布图让读者对任务有直观认识。接着放训练过程的 loss 曲线和准确率曲线这一步展示训练收敛是正常的。然后是混淆矩阵图让评审一眼看到哪些类别容易互相混淆。最后放 Grad-CAM 可视化热力图展示模型在分类时关注的区域——通常它会盯着手部和手机这个图能证明模型学到了行为特征而不是背景。有条件的还可以放错误样例图比如“把拿后座物品误判为与乘客交谈”的实例配合说明原因显得思考完整。5. 训练与部署避坑指南五个高频翻车现场与处置办法5.1 验证 loss 先降后升模型越练越差现象训练 loss 一直下降但验证 loss 在某个 epoch 后开始反弹验证准确率卡住不动甚至倒退。原因这是典型的过拟合信号。模型记住了训练集里的驾驶室背景、座椅颜色、光照角度而不是驾驶员的手部动作。另一个常见原因是学习率设置偏高导致后期在最优解附近来回震荡验证 loss 不降反升。解决先确认学习率如果lr00.01导致的震荡改成lr00.001配合余弦退火。再给最后的全连接层加 Dropout或者调大增强中灰度化的概率强迫模型不依赖颜色和背景。早停参数patience一定要开YOLOv8 命令行自带自定义训练脚本里要自己实现。5.2 验证集准确率好看实拍视频里连续误报现象验证集 Top-1 准确率 96%拿手机在真实车辆里拍一段视频测试安全驾驶帧频繁被识别成打电话或发消息预测标签在几类之间乱跳。原因这是分心驾驶识别最经典的翻车现场。State Farm 数据集拍摄场景和你的实拍环境差异巨大模型学到了训练集特有的背景纹理实拍视频里背景一变输出就飘了。还有一个因素是帧间抖动单帧预测缺乏时序一致性相邻两帧的判断互相矛盾。解决第一步从实拍视频里抽取 500 到 1000 帧人工打标注加到训练集里做微调。这个量级的数据微调往往比加几百轮训练更有用。第二步如果不想人工标注就先用 YOLOv8 detect 检测驾驶员脸部或上半身位置裁剪出驾驶员区域再做分类把背景干扰直接裁掉。第三步做帧间平滑这一招放在最后一章细说。5.3 推理速度跟不上视频帧率实时性不达标现象训练在 GPU 服务器上跑没问题但部署到普通笔记本或车载嵌入式设备上单帧推理 200 毫秒以上视频明显卡顿更谈不上实时报警。原因模型输入尺寸设得太大模型容量偏高推理时用了全精度没有压缩。很多同学只在训练服务器上测过从没在目标硬件上测过延迟到了答辩演示才发现跑不动。解决先确认目标硬件再决定压缩手段。推理硬件确定后把imgsz从 448 降到 224通常能带来 2 到 4 倍加速。模型从yolov8s-cls换成yolov8n-cls或者自建网络换成 MobileNetV3。再下一步是导出 ONNX 并使用半精度 FP16 推理这一步在后面有具体命令。如果还不行就用抽帧策略视频流每 3 帧取 1 帧做识别其余帧沿用上一帧结果。对于分心驾驶行为这种非瞬时动作3 帧抽 1 帧完全够用。5.4 喝水、拿后座等少数类别召回接近零现象看混淆矩阵c6喝水和 c7拿后座物品的召回率只有百分之十几大量被误判为安全驾驶。原因一方面这些类别样本量本身就少另一方面这些动作形态差异大——喝水的动作有拿杯、靠近嘴边、放下三个阶段拿后座物品更是千差万别模型只见过其中少部分形态自然学不全。解决第一优先级是补数据。每类手动采集 200 到 300 张覆盖不同动作阶段的图片放到训练集里增强。第二优先级是类别加权在损失函数里对少数类乘以更高的权重让模型更重视这些类的错误。用 YOLOv8 命令行时没有直接暴露类别权重参数需要改代码或用自定义训练脚本如果不想碰源码靠过采样也能达到类似效果——把少数类图片复制几份再配合增强让它们在每个 batch 里出现频率更高。还有一个实用技巧不做单帧分类而是做多帧综合判断。拿杯子的动作在连续帧里一定有“从方向盘区域移动到嘴边”的轨迹这个规律靠单帧学不到。5.5 标签错位与类别顺序错乱导致指标全部失真现象训练正常收敛但预测结果完全对不上比如把正常驾驶预测成化妆准确率接近随机猜。原因这是数据准备环节最常见的低级错误。目录是按 c0 到 c9 排的但你的 names 列表顺序和它不一致或者直接用os.listdir()读目录时没排序系统返回顺序混乱导致标签张冠李戴。解决不管用什么框架第一件事是打印一次“类别索引和目录名对应关系”。YOLOv8 的 YAML 文件里 names 顺序就是类别索引顺序对照训练集目录一张张核对。自定义训练脚本里用 Torchvision 的ImageFolder时它默认按目录名字母序排序如果你目录名是 c0, c1, ..., c9 没问题但如果用了真实行为名比如safe_driving、texting_right字母序和你的语义顺序很可能不一致必须打印dataset.class_to_idx确认。这个检查只要两分钟但能避免重新训练一整天。6. 把模型推向实时部署ONNX 导出、帧间平滑与我的验证习惯6.1 ONNX 导出与 CPU 推理的最小路径训练出的 PyTorch 权重在 CPU 上跑速度往往不够理想。ONNX 格式是为推理优化的中间表示搭配不同推理后端能明显提速。YOLOv8 官方直接支持导出yolo classify export modelruns/classify/train/weights/best.pt formatonnx imgsz224导出后在同目录生成best.onnx可以直接用 ONNX Runtime 加载推理。导出时也可以追加opset12指定算子集版本旧设备上兼容性更好。CPU 推理延迟在我的测试里通常比 PyTorch 原版快 30% 到 50%如果你的模型本身不算太大这就是性价比最高的提速手段。6.2 用滑动窗口做帧间投票压掉单帧误报视频流里单帧预测抖动很难完全避免一个简单有效的技巧是维护一个滑动窗口对窗口内最近的 N 帧做投票用票数最高的类别作为最终输出。from collections import deque # 维护最近 5 帧的预测结果 window deque(maxlen5) def predict_smooth(frame, model): # 假设 model 返回类别索引 pred model(frame) window.append(pred) # 取当前窗口内出现次数最多的类别 final_label max(set(window), keywindow.count) return final_label窗口大小的选择有一点讲究。maxlen5对应约 0.2 秒到 0.3 秒的视频对喝水、打电话这类持续动作来说足够长又能避免切换动作时反应太慢。窗口过大比如 15 帧会导致动作切换时延迟明显——已经放下手机了模型还按旧状态判断。经验是 5 到 8 帧之间。6.3 我的验证习惯给误报留下时间戳最后分享一个我用了很久的验证习惯。每训练完一版模型我会上传一段完整实拍驾驶视频到本地推理脚本里把每一帧的预测结果连同时间戳写进一个 CSV 文件然后输出一张“时间—状态”的二维条带图把误报区间标出来。这个习惯帮我反复发现模型的两类问题一是夜间环境下连续误判二是副驾乘客入镜时预测乱跳。发现问题后针对性地补那一段数据的样本再迭代一版。这个过程很枯燥但每次都能带来实打实的指标提升比调结构调参更稳定。希望这个验证思路对你有帮助。本文还有配套的精品资源点击获取 基于深度学习的驾驶员分心识别：数据、训练与部署全流程实战
简介面向深度学习方向的毕业设计、课程设计与期末大作业需求这份资源包提供完整的驾驶员分心驾驶行为识别项目内容涵盖源码、数据集、预训练模型与配套论文。项目基于VGG16、VGG19、ResNet50、InceptionV3、Xception等主流卷积神经网络进行迁移学习与微调并附有数据可视化、瓶颈特征提取、数据集划分等完整流程脚本代码注释详细新手也能按步骤复现。压缩包共三十一个文件其中包含九个Jupyter Notebook工作簿、九个HTML可视化报告、四个Python工具脚本、两篇PDF论文与两份Word版毕业论文、两个演示GIF以及说明文件整体大小65.36MB文件组织清晰便于按模块查阅和部署。目前已有七百三十九人学习下载常被用作毕业设计参考和课程设计高分项目。资源可直接支撑模型对比实验、论文写作与答辩展示帮助节省大量数据准备和调参时间具有很高的实用价值。1. 基于深度学习的驾驶员分心识别一个能把源码、数据和论文串起来的毕设方向开车时低头看手机、伸手拿水杯、回头和后座聊天这些动作在事故成因里出现频率高得吓人。驾驶员分心驾驶行为识别本质上就是把车载摄像头对准司机用深度学习模型判断当前帧属于哪一类分心动作。这个标题给定的交付形态很完整模型负责识别数据集负责训练和验证源码负责把数据落到模型上论文负责把过程讲成能答辩的成果。这个方向适合两类人——计算机视觉、电子信息方向想找落地型毕设的本科生以及在做驾驶员状态监测DMS预研、需要一个可迭代 baseline 的工程师。它不是一个入门 demo 式的题难点不在“把模型跑起来”而在数据分布、类别失衡和实时性这三个坎。下面按三条线展开。2. 先定骨架再动数据分类、检测、时空三种模型的选型与数据集结构2.1 三类模型各自的适用场景为什么分类先做主线分心驾驶识别业界主流有三条技术路线它们不是对错关系是成本和收益的关系。第一种是纯图像分类输入一帧驾驶室图像模型输出 c0 到 c9 共十类行为。这里说的十类几乎是这个领域的“默认类别集”来自著名的 State Farm 分心驾驶公开竞赛安全驾驶、右手发消息、右手打电话、左手发消息、左手打电话、操作收音机、喝水、拿后座物品、化妆或整理头发、与乘客交谈。分类路线实现最简单公开数据集可以直接用论文里也容易做对比。缺点是它只输出行为类别不告诉你“手在哪、手机在哪”。第二种是目标检测模型输出边界框加类别比如先框出驾驶员手部区域、手机和水杯再根据空间关系判断行为。好处是解释性强可扩展去做安全带、方向盘脱离检测缺点是公开数据集很少带框得自己标注工作量上了一个台阶。第三种是时空模型CNN LSTM、SlowFast 这类结构输入连续多帧能捕捉“拿手机”到“放到耳边”的动态过程。它能区分静态的“手在手机上”和真正的“正在打电话”但显存占用、训练难度都高数据标注成本更大。我一般给做毕设的同学建议是主线用图像分类把目标检测和时序模型作为扩展对比实验。主线保证能复现、能写清楚扩展部分体现工作量。这个任务上 YOLOv8 比较讨巧因为它同时提供 classify 和 detect 两条训练管线一条命令就能切换天然适合做这种“一鱼两吃”的对比实验。2.2 公开数据集与自建数据的构成十类行为的定义和目录结构起步阶段最快拿到的是 State Farm 分心驾驶数据集。它的训练集目录结构很规整train 目录下按类别拆成 c0 到 c9 十个子目录每个子目录存放对应行为的图片。整体样本量在两万张以上类别大致均衡但 c6喝水和 c7拿后座物品这类样本天然偏少后面要专门处理。还有一个 test 目录但没有标签只能拿来跑预测展示不能用于评估。这套数据有个显著特点图片来自驾驶模拟器和真实车辆混拍驾驶员位姿多样但背景相对固定。这意味着模型很容易记住背景而不是记住动作——这是后面实战中最大的坑先埋个伏笔。自建数据也不难手机固定在副驾驶位或挡风玻璃上方拍一段车内视角就行。建议覆盖三个光线时段白天逆光、傍晚、夜间仪表盘亮的环境。采集时让驾驶员自然做动作不要太表演否则模型学到的全是夸张姿态。目录结构建议保持和公开数据集一致方便后续脚本复用state-farm/ ├── train/ │ ├── c0/ │ │ ├── img_100.jpg │ │ └── ... │ ├── c1/ │ ├── ... │ └── c9/ ├── test/ └── driver_sample_submission.csv2.3 用 Python 脚本完成数据集划分与初筛拿到原始数据后第一件事不是训练是划分训练集和验证集。很多新手直接把 train 全部喂进去结果验证时才发现模型过拟合了都不知道。按 8:2 比例随机划分固定随机种子保证每次实验可比。import random import shutil from pathlib import Path # 原始数据集train/c0 ~ train/c9 src Path(state-farm/train) dst Path(driver_distraction) val_ratio 0.2 random.seed(42) for label_dir in src.iterdir(): if not label_dir.is_dir(): continue images list(label_dir.glob(*.jpg)) random.shuffle(images) n_val int(len(images) * val_ratio) val_images, train_images images[:n_val], images[n_val:] for subset, imgs in [(train, train_images), (val, val_images)]: out_dir dst / subset / label_dir.name out_dir.mkdir(parentsTrue, exist_okTrue) for img in imgs: shutil.copy(str(img), out_dir / img.name) # 打印每个子集的类别样本数确认划分没有切空 for subset in [train, val]: for label_dir in sorted((dst / subset).iterdir()): n len(list(label_dir.glob(*.jpg))) print(subset, label_dir.name, n)这个脚本的逻辑是按类别目录分别划分保证每个类别在训练集和验证集里的相对比例一致不会出现验证集里某个类别只剩几张图的情况。random.seed(42)很重要它决定后续所有实验能否复现如果你换了个 seed实验结果可能完全变样论文里必须写明。val_ratio0.2是分类任务的常用值如果你的数据量只有几千张可以改成 0.15留更多数据给训练。划分完还要做一次初筛。我的习惯是每类随机抽 20 张图出来人工看一遍主要看三类问题标签是否错放、是否存在严重模糊、是否有重复帧。公开数据集里偶尔有裁剪后只剩方向盘、主体缺失的坏样本这类图对训练是纯噪声直接删掉比留着强。2.4 数据增强的边界水平翻转之前先想清楚左右手类别数据增强是深度学习 CNN 模型减少过拟合最直接的手段但对这个任务有一个容易翻车的细节水平翻转。翻转本身没有错错的是翻转后标签没有跟着换。看下类别定义c1 是右手发消息c2 是右手打电话c3 是左手发消息c4 是左手打电话。如果把一张“右手发消息”的图片做水平翻转画面上的人变成了“左手发消息”标签应该从 c1 改成 c3。同理 c2 和 c4 互换。如果不管这个对应关系模型会被同时喂进左右手矛盾的样本训练损失下不去的根源往往就在这。常见的增强组合我列一份直接可用的随机亮度调整范围 ±30%模拟车内光线变化随机对比度调整范围 ±20%随机灰度化概率 10%强制模型别依赖颜色信息随机缩放裁剪比例 0.8 到 1.0裁剪后缩回原尺寸水平翻转但必须配合左右手类别映射表垂直翻转不能用。驾驶室视角有明确的上下语义翻转后图像完全不符合物理规律只会把模型带偏。3. 用 YOLOv8 训练自己的数据集配置文件、训练命令与参数调法3.1 把数据集描述成 YOLO 认识的 YAMLYOLOv8 官方框架对数据集的描述方式是一个 YAML 文件里面写清楚路径、训练集子目录、验证集子目录和类别名。示例放在和train同级的目录下。# driver_distraction.yaml path: ./driver_distraction train: train val: val nc: 10 names: 0: safe_driving 1: texting_right 2: calling_right 3: texting_left 4: calling_left 5: operating_radio 6: drinking 7: reaching_behind 8: hair_makeup 9: talking_to_passenger这里的nc必须和names的条目数一致少一个多一个都会在训练启动时报错。names的顺序也不是随便写的它必须和前面目录里的 c0 到 c9 对应上。最常见的低级错误是 category 目录名和 names 顺序没对齐模型训练完了才发现 c1 和 c3 含义调换了这时候只能重新训。3.2 一行命令跑通 yolov8n-cls 分类训练YOLOv8 的分类模式和检测模式是分开的。分类训练用classify train命令如下yolo classify train datadriver_distraction.yaml \ modelyolov8n-cls.pt \ epochs80 imgsz224 batch64 \ lr00.01 lrf0.01 \ patience10 device0拆开看每个参数的意义。modelyolov8n-cls.pt是官方提供的预训练分类权重n 是 nano 版本体量最小、适合起步如果你的机器显存充足可以换成yolov8s-cls.pt准确率通常会高 2 到 3 个百分点。imgsz224是输入分辨率分心驾驶的图片主体是驾驶员224 足够盲目上 448 会显著拖慢训练和推理收益却不大。lr00.01是初始学习率这个值对预训练模型微调是合理起点如果是从零训练0.01 往往偏高后面会说到怎么判断。patience10是早停参数验证指标连续 10 个 epoch 不提升就停止训练既省时间又防止过拟合。训练结束后结果保存在runs/classify/train/目录下。weights/best.pt是验证集上表现最好的权重weights/last.pt是最后一轮权重——一般用 best.pt。目录里还有results.png、confusion_matrix.png等图表可以直接放进论文但要注意格式调整。3.3 论文想体现工作量自定义 ResNet 训练脚本的骨架只用官方命令行训练论文里容易被评委说“工作量不足”。一个折中的办法是自己搭一个基于 ResNet 的分类模型训练循环自己写。代码骨架如下import torch import torch.nn as nn from torch.utils.data import DataLoader from torchvision import models, transforms, datasets class DistractionCNN(nn.Module): def __init__(self, num_classes10): super().__init__() self.backbone models.resnet18(pretrainedTrue) # 替换最后一层全连接加 Dropout 抑制过拟合 self.backbone.fc nn.Sequential( nn.Dropout(0.3), nn.Linear(self.backbone.fc.in_features, num_classes) ) def forward(self, x): return self.backbone(x) transform transforms.Compose([ transforms.Resize((224, 224)), transforms.RandomHorizontalFlip(), transforms.ColorJitter(brightness0.3, contrast0.2), transforms.ToTensor(), transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225]) ]) dataset datasets.ImageFolder(driver_distraction/train, transformtransform) loader DataLoader(dataset, batch_size64, shuffleTrue, num_workers4) model DistractionCNN().cuda() criterion nn.CrossEntropyLoss() optimizer torch.optim.AdamW(model.parameters(), lr1e-4, weight_decay1e-4) for epoch in range(50): model.train() total_loss 0.0 for images, labels in loader: outputs model(images.cuda()) loss criterion(outputs, labels.cuda()) optimizer.zero_grad() loss.backward() optimizer.step() total_loss loss.item() print(fepoch {epoch1}, loss {total_loss / len(loader):.4f})这段脚本里有两个细节值得在论文里展开。第一个是pretrainedTrue用 ImageNet 预训练权重做初始化对这个小数据集来说几乎决定成败从零训练大概率只能到 85% 左右预训练微调能上 95%。第二个是Dropout(0.3)放在全连接层前这是针对背景过拟合的有效手段后面避坑章会再讲。AdamW的weight_decay1e-4是 L2 正则同样用于抑制过拟合。这个脚本没有写验证逻辑做实验时要补上每个 epoch 结束后在验证集算一次准确率保存最佳模型。这个验证逻辑建议你自己写写一遍才能吃透训练和评估的完整闭环。3.4 训练日志怎么读损失下降、过拟合、早停的判断依据训练不是等命令跑完就结束要学会读日志。YOLOv8 在控制台会打印每个 epoch 的损失和 Top-1 准确率同时把曲线画进results.png。我判断训练状态就看三点。第一看训练损失有没有在合理范围内下降。如果损失在最初几个 epoch 里完全不降甚至上升先检查学习率是否太高或者数据集路径有没有对、标签有没有配错。第二看训练准确率和验证准确率的差距这个差距超过 5 个百分点基本可以断定过拟合在加剧。第三看验证损失曲线。验证损失先降后升是典型的过拟合信号说明模型开始背训练集了这时候早停参数patience会自动拦住。如果你的训练是自己写的循环没实现早停就得靠手工盯。还有一类情况验证准确率在某个值附近上下波动损失怎么也降不下来。这通常是数据问题比如左右手翻转后标签没换或者存在大量重复的相似帧。日志里准确率到 95% 以上再想提升拼的就不是网络结构而是数据质量。4. 毕设论文的实验设计评估指标、对比表格与消融实验4.1 别只看准确率先定好指标清单再开始跑实验毕设论文里如果只写一个准确率评审大概率会问“你的模型漏报最多的是哪一类”。分心驾驶识别是典型的不均衡多分类任务虽然 State Farm 数据集类别大体均衡但实际场景里正常驾驶的帧数远远多于喝水、化妆这些动作这就要求评估必须看多维度指标。我建议在论文里固定一套指标清单Top-1 准确率、Top-5 准确率、加权精确率、加权召回率、加权 F1 分数以及运行性能侧的每帧推理耗时和 FPS。Top-5 在十类任务里意义不大但写上不亏评委看到了会觉得考虑周全。加权召回率和加权 F1 是类别不均衡时的核心指标比准确率诚实得多。运行性能指标必须明确写清测试硬件不能只说“实时”要写“i5-1240P CPU 上单帧 68ms”。4.2 可以直接套用的实验结果表与类别召回明细表论文里至少要有两张表。第一张是模型总对比表列出不同模型或不同配置的整体指标。以下是一张模板数字先留空用你自己的实验填充模型输入尺寸Top-1 准确率加权 F1CPU 单帧延迟ResNet18 从零训练224ResNet18 预训练微调224YOLOv8n-cls224YOLOv8s-cls224第二张是类别召回率明细表因为它能暴露模型在哪类行为上失效。这张表的行是 c0 到 c9列可以是训练/验证集上的召回率。正常来说安全驾驶c0的召回率最高喝水c6、拿后座物品c7容易偏低。如果看到哪一类明显偏低论文后续章节就围绕它做针对性优化这比笼统说“模型准确率达到 96%”有说服力得多。4.3 消融实验做哪三组论文工作量才立得住消融实验的目的是证明你每个设计决策都有依据。对分心驾驶识别这个题目三组消融就足够支撑论文深度。第一组预训练权重对比从零训练。用同一份数据、同一个模型结构只改初始化方式。这组实验能说明迁移学习在小规模驾驶员数据集上的价值。第二组数据增强开关。训练时开启增强和关闭增强观察验证集准确率差异同时观察训练验证准确率差距证明增强在抑制过拟合中的作用。第三组模型容量对比YOLOv8n 和 YOLOv8s 或 ResNet18 和 ResNet34。这组实验用来讨论精度和速度的权衡结论通常是小模型也能达到接近大模型的效果但推理快很多。如果主线已经用分类模型建议再补一个“分类 vs 检测”的对照实验用 YOLOv8 detect 模式训练一个检测驾驶员手部或手机位置的模型对比两种任务形态下的指标差异。这个实验能引出“为什么最终选分类作为主线”的结论论文的讨论部分就显得饱满。4.4 图表顺序让评委顺着你的逻辑看到模型在改进论文图片的组织顺序也是一门小技巧。我的习惯是这样排。先放数据样张和类别分布图让读者对任务有直观认识。接着放训练过程的 loss 曲线和准确率曲线这一步展示训练收敛是正常的。然后是混淆矩阵图让评审一眼看到哪些类别容易互相混淆。最后放 Grad-CAM 可视化热力图展示模型在分类时关注的区域——通常它会盯着手部和手机这个图能证明模型学到了行为特征而不是背景。有条件的还可以放错误样例图比如“把拿后座物品误判为与乘客交谈”的实例配合说明原因显得思考完整。5. 训练与部署避坑指南五个高频翻车现场与处置办法5.1 验证 loss 先降后升模型越练越差现象训练 loss 一直下降但验证 loss 在某个 epoch 后开始反弹验证准确率卡住不动甚至倒退。原因这是典型的过拟合信号。模型记住了训练集里的驾驶室背景、座椅颜色、光照角度而不是驾驶员的手部动作。另一个常见原因是学习率设置偏高导致后期在最优解附近来回震荡验证 loss 不降反升。解决先确认学习率如果lr00.01导致的震荡改成lr00.001配合余弦退火。再给最后的全连接层加 Dropout或者调大增强中灰度化的概率强迫模型不依赖颜色和背景。早停参数patience一定要开YOLOv8 命令行自带自定义训练脚本里要自己实现。5.2 验证集准确率好看实拍视频里连续误报现象验证集 Top-1 准确率 96%拿手机在真实车辆里拍一段视频测试安全驾驶帧频繁被识别成打电话或发消息预测标签在几类之间乱跳。原因这是分心驾驶识别最经典的翻车现场。State Farm 数据集拍摄场景和你的实拍环境差异巨大模型学到了训练集特有的背景纹理实拍视频里背景一变输出就飘了。还有一个因素是帧间抖动单帧预测缺乏时序一致性相邻两帧的判断互相矛盾。解决第一步从实拍视频里抽取 500 到 1000 帧人工打标注加到训练集里做微调。这个量级的数据微调往往比加几百轮训练更有用。第二步如果不想人工标注就先用 YOLOv8 detect 检测驾驶员脸部或上半身位置裁剪出驾驶员区域再做分类把背景干扰直接裁掉。第三步做帧间平滑这一招放在最后一章细说。5.3 推理速度跟不上视频帧率实时性不达标现象训练在 GPU 服务器上跑没问题但部署到普通笔记本或车载嵌入式设备上单帧推理 200 毫秒以上视频明显卡顿更谈不上实时报警。原因模型输入尺寸设得太大模型容量偏高推理时用了全精度没有压缩。很多同学只在训练服务器上测过从没在目标硬件上测过延迟到了答辩演示才发现跑不动。解决先确认目标硬件再决定压缩手段。推理硬件确定后把imgsz从 448 降到 224通常能带来 2 到 4 倍加速。模型从yolov8s-cls换成yolov8n-cls或者自建网络换成 MobileNetV3。再下一步是导出 ONNX 并使用半精度 FP16 推理这一步在后面有具体命令。如果还不行就用抽帧策略视频流每 3 帧取 1 帧做识别其余帧沿用上一帧结果。对于分心驾驶行为这种非瞬时动作3 帧抽 1 帧完全够用。5.4 喝水、拿后座等少数类别召回接近零现象看混淆矩阵c6喝水和 c7拿后座物品的召回率只有百分之十几大量被误判为安全驾驶。原因一方面这些类别样本量本身就少另一方面这些动作形态差异大——喝水的动作有拿杯、靠近嘴边、放下三个阶段拿后座物品更是千差万别模型只见过其中少部分形态自然学不全。解决第一优先级是补数据。每类手动采集 200 到 300 张覆盖不同动作阶段的图片放到训练集里增强。第二优先级是类别加权在损失函数里对少数类乘以更高的权重让模型更重视这些类的错误。用 YOLOv8 命令行时没有直接暴露类别权重参数需要改代码或用自定义训练脚本如果不想碰源码靠过采样也能达到类似效果——把少数类图片复制几份再配合增强让它们在每个 batch 里出现频率更高。还有一个实用技巧不做单帧分类而是做多帧综合判断。拿杯子的动作在连续帧里一定有“从方向盘区域移动到嘴边”的轨迹这个规律靠单帧学不到。5.5 标签错位与类别顺序错乱导致指标全部失真现象训练正常收敛但预测结果完全对不上比如把正常驾驶预测成化妆准确率接近随机猜。原因这是数据准备环节最常见的低级错误。目录是按 c0 到 c9 排的但你的 names 列表顺序和它不一致或者直接用os.listdir()读目录时没排序系统返回顺序混乱导致标签张冠李戴。解决不管用什么框架第一件事是打印一次“类别索引和目录名对应关系”。YOLOv8 的 YAML 文件里 names 顺序就是类别索引顺序对照训练集目录一张张核对。自定义训练脚本里用 Torchvision 的ImageFolder时它默认按目录名字母序排序如果你目录名是 c0, c1, ..., c9 没问题但如果用了真实行为名比如safe_driving、texting_right字母序和你的语义顺序很可能不一致必须打印dataset.class_to_idx确认。这个检查只要两分钟但能避免重新训练一整天。6. 把模型推向实时部署ONNX 导出、帧间平滑与我的验证习惯6.1 ONNX 导出与 CPU 推理的最小路径训练出的 PyTorch 权重在 CPU 上跑速度往往不够理想。ONNX 格式是为推理优化的中间表示搭配不同推理后端能明显提速。YOLOv8 官方直接支持导出yolo classify export modelruns/classify/train/weights/best.pt formatonnx imgsz224导出后在同目录生成best.onnx可以直接用 ONNX Runtime 加载推理。导出时也可以追加opset12指定算子集版本旧设备上兼容性更好。CPU 推理延迟在我的测试里通常比 PyTorch 原版快 30% 到 50%如果你的模型本身不算太大这就是性价比最高的提速手段。6.2 用滑动窗口做帧间投票压掉单帧误报视频流里单帧预测抖动很难完全避免一个简单有效的技巧是维护一个滑动窗口对窗口内最近的 N 帧做投票用票数最高的类别作为最终输出。from collections import deque # 维护最近 5 帧的预测结果 window deque(maxlen5) def predict_smooth(frame, model): # 假设 model 返回类别索引 pred model(frame) window.append(pred) # 取当前窗口内出现次数最多的类别 final_label max(set(window), keywindow.count) return final_label窗口大小的选择有一点讲究。maxlen5对应约 0.2 秒到 0.3 秒的视频对喝水、打电话这类持续动作来说足够长又能避免切换动作时反应太慢。窗口过大比如 15 帧会导致动作切换时延迟明显——已经放下手机了模型还按旧状态判断。经验是 5 到 8 帧之间。6.3 我的验证习惯给误报留下时间戳最后分享一个我用了很久的验证习惯。每训练完一版模型我会上传一段完整实拍驾驶视频到本地推理脚本里把每一帧的预测结果连同时间戳写进一个 CSV 文件然后输出一张“时间—状态”的二维条带图把误报区间标出来。这个习惯帮我反复发现模型的两类问题一是夜间环境下连续误判二是副驾乘客入镜时预测乱跳。发现问题后针对性地补那一段数据的样本再迭代一版。这个过程很枯燥但每次都能带来实打实的指标提升比调结构调参更稳定。希望这个验证思路对你有帮助。本文还有配套的精品资源点击获取