简介本资源是一套面向本科毕业设计的课堂抬头率检测系统实现方案基于OpenCV与传统人脸识别技术解决教学过程中的学生专注度量化评估问题适用于教育技术、计算机视觉初学者及毕设选题学生。压缩包共22个文件2.88MB含4个Jupyter Notebook.ipynb主程序——涵盖摄像头调用、人脸检测、GUI界面集成与完整流程运行3个Python脚本.py提供轻量部署选项5个XML级联分类器模型文件如haarcascade_frontalface_alt2.xml直接支持人脸定位另含测试图片、Excel统计模板及README说明文档结构清晰、开箱即用。已有736人学习下载提供从图像采集、实时识别到抬头率计算结合预设选课人数的全链路代码UI界面简洁可交互并附初始环境配置提示与中英文混合注释便于理解原理与快速调试。 做毕设选“基于OpenCV人脸识别的课堂抬头率检测系统”这个题目的同学我见得挺多。原因是这个题目方向明确、技术栈成熟、学习资料多最关键的是“人脸识别”和“GUI界面”都是评委老师一眼就能看到的东西展示效果好。但真动手做的时候很多人会卡在同一个地方人脸检测好跑抬头率到底怎么算GUI和视频处理又怎么衔接我自己调试过一套完整的可运行方案这篇文章就把整体设计、核心算法、关键代码、踩坑记录全部拆开讲一遍照着走基本能跑通。这套方案适合三类人一是正在做相关毕设、需要快速搭建演示系统的同学二是想做一个能放到简历里的综合项目的开发者三是想了解OpenCV人脸检测、头部姿态估计和PyQt5 GUI开发如何结合的新手。下面开始。1. 项目整体设计与技术选型1.1 系统到底要做什么先把需求聊清楚。课堂抬头率检测系统场景是这样的摄像头放在教室前方对准学生区域系统实时采集画面检测画面里的每一张人脸判断每个学生是抬头还是低头然后统计这一段课堂时间内的“抬头率”。抬头率这个概念在不同论文里定义不完全一样有的按人数算有的按时间算有的两者结合但本质上都是想量化“学生认真听讲的程度”。我在设计时把它拆成了几个功能模块实时视频采集支持摄像头输入也支持视频文件回放方便没有摄像头环境时测试。人脸检测从每帧画面中检测出所有人脸位置。抬头状态判断对每张人脸判断“抬头”或“低头”。实时统计每秒或每分钟计算一次抬头率画出变化曲线。数据保存把统计结果导出成CSV文件方便写论文时做数据分析。GUI界面能显示实时画面、检测结果、统计数据提供开始/停止/导出等操作。GUI我用的是PyQt5后面会细说为什么。整个系统用Python开发核心算法用OpenCV辅助用dlib提供人脸关键点再用OpenCV的solvePnP做头部姿态估计。全部依赖都是Python生态里比较成熟的库跑通难度不大。1.2 技术选型OpenCV、GUI库、姿态估计方案先说人脸检测。这个题目里写了“基于OpenCV”所以主力肯定是用OpenCV自带的人脸检测器。OpenCV里最经典的人脸检测方案是Haar级联分类器文件就一个haarcascade_frontalface_default.xml加载方便CPU上跑得也快。但它的缺点也明显对侧脸、遮挡、光线变化比较敏感课堂场景下学生低头或者用手托腮时容易漏检。所以我在实际代码里做了两手准备默认用Haar级联因为代码最简单、依赖最少如果追求更好的检测效果可以换成OpenCV的DNN人脸检测器加载一个Caffe模型文件检测精度和鲁棒性会高不少。两种方案的代码我都写在下面可以根据自己的需求切换。再说GUI库。Python的GUI选择无非就是Tkinter、PyQt5/PySide2、wxPython这几个。Tkinter虽然内置、简单但界面比较朴素做毕设展示时第一印象会打折扣。PyQt5虽然安装体积大一些但界面美观、控件丰富还支持QThread多线程处理视频流非常顺手。考虑到毕设答辩时界面是重要的呈现部分我推荐PyQt5。如果不想承担PyQt5的安装风险用Tkinter也能做只是代码里视频帧的显示逻辑要自己多写一点。最后说抬头判断。这是整个系统的核心难点也是最容易让评委眼前一亮的地方。纯靠OpenCV的Haar人脸框只能知道“有没有人”判断不了“抬头还是低头”所以我引入了dlib的68点人脸关键点检测结合OpenCV的solvePnP做头部姿态估计算出人脸的俯仰角pitch角根据俯仰角是否超过阈值来判断抬头状态。这个方案兼顾了精度和实现可行性也是很多相关毕设论文里的主流做法。2. 核心算法与抬头判断原理2.1 人脸检测的两种方案对比先给一份对比表格方便你在动手前决定选哪套。方案模型/文件检测速度精度依赖复杂度适用场景Haar级联haarcascade_frontalface_default.xml快一般最低OpenCV自带即可正脸为主、光线稳定OpenCV DNNres10_300x300_ssd_iter_140000.caffemodel中等较高需要下载模型文件课堂实景、姿态多样Haar级联的原理是基于Haar-like特征和AdaBoost分类器用滑动窗口在图像金字塔上逐级判断是否为人脸。它的优点是计算量小在普通CPU上也能跑到几十毫秒一帧缺点是对角度敏感超过30度的侧脸基本失效。OpenCV DNN人脸检测器是基于SSD网络结构训练的精度高很多对侧脸和遮挡的容忍度更好。我在实际测试中把摄像头放在教室前方斜45度角的位置时Haar普遍只能检测到正对镜头的前排学生而DNN可以覆盖到中排侧身的学生。如果你的毕设想做出更好的效果建议直接用DNN方案。代码方面Haar检测就几行import cv2 face_cascade cv2.CascadeClassifier( cv2.data.haarcascades haarcascade_frontalface_default.xml ) def detect_faces_haar(gray_frame, scale_factor1.1, min_neighbors5): faces face_cascade.detectMultiScale( gray_frame, scaleFactorscale_factor, minNeighborsmin_neighbors, minSize(60, 60) ) return faces # 返回 [x, y, w, h] 列表DNN方案稍微复杂一点但也不难import cv2 import numpy as np net cv2.dnn.readNetFromCaffe( deploy.prototxt, res10_300x300_ssd_iter_140000.caffemodel ) def detect_faces_dnn(frame, conf_threshold0.6): h, w frame.shape[:2] blob cv2.dnn.blobFromImage( cv2.resize(frame, (300, 300)), 1.0, (300, 300), (104.0, 177.0, 123.0) ) net.setInput(blob) detections net.forward() faces [] for i in range(detections.shape[2]): confidence detections[0, 0, i, 2] if confidence conf_threshold: box detections[0, 0, i, 3:7] * np.array([w, h, w, h]) x1, y1, x2, y2 box.astype(int) faces.append((x1, y1, x2 - x1, y2 - y1)) return faces实际跑下来DNN的漏检率低很多。但如果你只是想在毕设里先跑通Haar可以先用着后面再升级。2.2 抬头判断从人脸框到头部姿态估计这里是我要重点讲的部分。很多人一开始会想当然地认为检测到人脸就等于抬头检测不到就等于低头。这个想法做演示还行但在教室实景里站不住脚学生低头时如果摄像头角度偏上依然能检测到半张脸学生抬头但手挡住脸反而检测不到。纯粹靠“有没有人脸”来判断抬头率论文里说不过去。正确的思路是对检测到的每张人脸先定位脸部的关键点——比如鼻尖、下巴、左右眼角、左右嘴角——然后用这些2D像素坐标结合一组标准3D人脸模型坐标通过solvePnP算法解算头部的旋转向量再转换成欧拉角。这里的pitch角就是俯仰角抬头时pitch为正值低头时为负值。设定一个阈值pitch低于阈值就判定为低头。3D人脸模型坐标用的是通用值这是我用的标准坐标点单位毫米model_points_3d np.array([ [0.0, 0.0, 0.0], # 鼻尖对应2D点索引30 [0.0, -330.0, -65.0], # 下巴对应2D点索引8 [-225.0, 170.0, -135.0],# 左眼左眼角对应2D点索引36 [225.0, 170.0, -135.0], # 右眼右眼角对应2D点索引45 [-150.0, -150.0, -125.0],# 嘴巴左角对应2D点索引48 [150.0, -150.0, -125.0] # 嘴巴右角对应2D点索引54 ], dtypenp.float64)对应的2D点来自dlib的68点关键点检测结果。dlib需要安装并下载一个模型文件shape_predictor_68_face_landmarks.dat检测关键点的代码import dlib detector dlib.get_frontal_face_detector() predictor dlib.shape_predictor(shape_predictor_68_face_landmarks.dat) def get_face_landmarks(frame, face_rect): gray cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY) rect dlib.rectangle(face_rect[0], face_rect[1], face_rect[0] face_rect[2], face_rect[1] face_rect[3]) shape predictor(gray, rect) return shape # 通过 shape.part(i) 获取第 i 个关键点坐标拿到关键点后做姿态估计def calculate_head_pose(shape): # 提取7个关键点的2D坐标注意顺序要和 model_points_3d 对应 img_points_2d np.array([ (shape.part(30).x, shape.part(30).y), # 鼻尖 (shape.part(8).x, shape.part(8).y), # 下巴 (shape.part(36).x, shape.part(36).y), # 左眼左眼角 (shape.part(45).x, shape.part(45).y), # 右眼右眼角 (shape.part(48).x, shape.part(48).y), # 嘴巴左角 (shape.part(54).x, shape.part(54).y) # 嘴巴右角 ], dtypenp.float64) # 相机内参实际项目中应该通过标定获得 # 这里用近似值焦距取图像宽度光心取图像中心 focal_length frame_width center (frame_width / 2, frame_height / 2) camera_matrix np.array( [[focal_length, 0, center[0]], [0, focal_length, center[1]], [0, 0, 1]], dtypenp.float64 ) dist_coeffs np.zeros((4, 1)) success, rotation_vector, translation_vector cv2.solvePnP( model_points_3d, img_points_2d, camera_matrix, dist_coeffs, flagscv2.SOLVEPNP_ITERATIVE ) # 旋转向量转旋转矩阵再转欧拉角 rotation_matrix, _ cv2.Rodrigues(rotation_vector) sy np.sqrt(rotation_matrix[0, 0] ** 2 rotation_matrix[1, 0] ** 2) singular sy 1e-6 if not singular: pitch np.arctan2(rotation_matrix[2, 1], rotation_matrix[2, 2]) * 180.0 / np.pi else: pitch np.arctan2(-rotation_matrix[1, 2], rotation_matrix[1, 1]) * 180.0 / np.pi return pitch这里有一个关键注释要说明相机内参矩阵我没有做真正的标定而是用近似值即焦距取图像宽度、光心取图像中心。这样做在绝大多数场景下误差在可接受范围内。如果你想要更精确的结果可以用棋盘格标定相机但对课堂抬头率这个应用来说近似值足够区分抬头和低头了。抬头/低头的判定阈值我经过多轮测试后建议初始值为pitch 12判定为低头pitch 12判定为抬头。这个12度不是写死的和摄像头安装高度、拍摄角度都有关系。实际使用中可以加一个调试滑块实时调整阈值观察效果。2.3 抬头率的数学定义与统计口径抬头率听起来简单但统计口径不提前定清楚后面写论文会很难受。我在系统里用了三层统计瞬时抬头率某一帧画面中抬头人数占检测到总人数的比例。比如一帧检测到8张脸其中6张抬头瞬时抬头率就是75%。平均抬头率整个统计时段内所有有效帧的瞬时抬头率平均值。这是最终输出的核心指标。分时段抬头率把整段时间按分钟切分每分钟求一个平均抬头率这样可以画出一条“时间-抬头率”曲线观察课堂不同阶段的专注度变化。用公式表达就是单帧抬头率 R(t) 抬头人数(t) / 检测总人数(t) * 100% 整节课平均抬头率 R_avg (1/N) * Σ R(t)这里要注意的是分母的统计口径。有人会把“检测总人数”理解成画面里所有出现过的学生总数但这样在有人暂时离座、被遮挡时分母就会不准。更稳妥的做法是只计算“当前帧能检测到的脸”作为分母这一帧有多少张脸就在这些脸里算抬头比例然后对所有有效帧取平均。这样即使某帧只检测到两个人也不会影响整体数据的合理性。代码实现里就是维护几个累加变量total_frames 0 # 有效帧数 total_rate_sum 0.0 # 瞬时抬头率累加和 current_rate 0.0 # 当前帧抬头率 # 每处理一帧 if detected_count 0: head_up_count ... current_rate head_up_count / detected_count * 100 total_frames 1 total_rate_sum current_rate # 结束时 avg_rate total_rate_sum / total_frames if total_frames 0 else 03. 完整代码实现与模块分解3.1 项目结构规划写代码之前先规划好目录结构。我的项目是这样的head_up_rate_system/ │ ├── main.py # 程序入口启动GUI ├── detector.py # 人脸检测与姿态估计模块 ├── statistics.py # 抬头率统计模块 ├── ui_main.py # PyQt5主窗口 ├── video_thread.py # 视频处理线程 │ ├── models/ │ ├── haarcascade_frontalface_default.xml │ ├── deploy.prototxt │ ├── res10_300x300_ssd_iter_140000.caffemodel │ └── shape_predictor_68_face_landmarks.dat │ └── output/ └── result.csv # 统计结果输出模块之间职责分明detector.py负责算法video_thread.py负责在后台线程里处理视频帧statistics.py负责统计ui_main.py只负责界面显示和用户交互。这样分开的好处是调bug的时候不用在一个文件里反复翻论文里画系统结构图也方便。3.2 GUI主窗口与摄像头画面显示用PyQt5写界面核心是把OpenCV的BGR帧转成QImage再显示到QLabel上。这个转换代码非常固定def cv2_to_qimage(frame): rgb_image cv2.cvtColor(frame, cv2.COLOR_BGR2RGB) h, w, ch rgb_image.shape bytes_per_line ch * w qimage QImage(rgb_image.data, w, h, bytes_per_line, QImage.Format_RGB888) return qimage.copy()bytesPerLine不写对的话图像会裂开或者颜色错乱这是新手最容易踩的坑。copy()也不能省因为原图数据在OpenCV侧可能被释放不拷贝会出现花屏。主窗口布局我用了左图右信息的方式左边是一个大QLabel显示实时视频画面右边放检测状态、抬头率实时数值、控制按钮和统计曲线。右侧信息区从上到下依次是当前帧抬头数/总人数、实时抬头率、平均抬头率、开始/停止/导出按钮、阈值调节滑条、绘制曲线的QLabel。3.3 视频处理线程与检测逻辑GUI里跑视频处理必须用线程否则摄像头帧一多界面会卡成PPT。我封装了一个VideoThread继承自QThread每一帧的处理流程是从VideoCapture读取一帧转灰度图做直方图均衡化equalizeHist增强低光照下的人脸检测效果调用人脸检测器得到所有人脸框对每个人脸框提取关键点计算pitch角根据pitch阈值判断抬头/低头把检测结果绘制到帧上画框抬头画绿色低头画红色把统计结果存入统计模块把处理后的帧转成QImage通过信号发给主窗口显示核心逻辑import cv2 import numpy as np import dlib from PyQt5.QtCore import QThread, pyqtSignal class VideoThread(QThread): change_pixmap pyqtSignal(QImage) update_stats pyqtSignal(dict) def __init__(self, detector, statistics, parentNone): super().__init__(parent) self.detector detector self.statistics statistics self.running True self.cap cv2.VideoCapture(0) def run(self): while self.running: ret, frame self.cap.read() if not ret: continue # 缩小画面加速处理长边控制在640左右 frame self.detector.resize_to_width(frame, 640) gray cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY) gray cv2.equalizeHist(gray) faces self.detector.detect_faces(gray) head_up_count 0 total_count 0 for (x, y, w, h) in faces: # 扩一下人脸框给关键点检测提供更多上下文 expand 20 x1 max(0, x - expand) y1 max(0, y - expand) x2 min(frame.shape[1], x w expand) y2 min(frame.shape[0], y h expand) shape self.detector.get_landmarks(gray, (x1, y1, x2, y2)) if shape is None: continue pitch self.detector.get_pitch(shape, frame.shape[1], frame.shape[0]) is_head_up pitch self.detector.pitch_threshold color (0, 255, 0) if is_head_up else (0, 0, 255) cv2.rectangle(frame, (x, y), (x w, y h), color, 2) cv2.putText(frame, fpitch:{pitch:.1f}, (x, y - 10), cv2.FONT_HERSHEY_SIMPLEX, 0.5, color, 2) total_count 1 if is_head_up: head_up_count 1 self.statistics.update_frame(head_up_count, total_count) stats self.statistics.get_current_stats() self.update_stats.emit(stats) qt_image cv2_to_qimage(frame) self.change_pixmap.emit(qt_image) # 控制处理帧率避免CPU占用过高 self.msleep(50) # 约20FPS self.cap.release() def stop(self): self.running False self.wait()这里有个细节self.msleep(50)把帧率限制在20FPS左右。人脸检测和姿态估计在CPU上跑分辨率越高越慢。把图像长边缩到640像素之后单帧处理时间通常在30到80毫秒之间加上msleep间隔界面还是很流畅的。如果追求更低的CPU占用可以把帧率压到10FPS对抬头率统计影响也不大因为抬头动作本身就是慢变的。3.4 抬头率统计与数据导出统计模块用了一个独立类来维护所有数据。除了前面提到的三个统计指标我还会记录每分钟的平均抬头率最后导出的CSV结构是时间,累计平均抬头率,当前帧抬头率,当前帧人数,抬头人数为了避免中途程序崩溃丢数据我会在界面停止时自动保存一份CSV另外加一个手动导出按钮可以随时把当前统计结果写出去。导出代码很简单import csv def export_to_csv(self, filepath): with open(filepath, w, newline, encodingutf-8-sig) as f: writer csv.writer(f) writer.writerow([second, avg_rate, current_rate, total_count, head_up_count]) for record in self.records: writer.writerow(record) writer.writerow([OVERALL, self.avg_rate, , , ])用utf-8-sig编码是为了让Excel直接打开CSV时中文不乱码。这个细节很多人的代码里都没有但用的时候特别实用。数据可视化我额外用matplotlib画了一张“每分钟平均抬头率”的柱状图在界面停止后显示出来。画图这块单独写在统计模块里生成图片后保存到输出目录答辩时可以当素材用。4. 环境搭建与运行指南4.1 依赖安装与模型文件准备要跑起来需要安装的Python包如下pip install opencv-python pip install dlib pip install PyQt5 pip install numpy pip install matplotlib这里面最容易出问题的是dlib。Windows环境下装dlib经常报错原因是需要编译C代码。我的建议是如果用的是Python 3.10以下的版本先试试pip install dlib装不上再找预编译的wheel文件。Python 3.11以上dlib官方包经常没有对应wheel可以换用pip install dlib-bin或者干脆用Anaconda环境conda install -c conda-forge dlib会省事很多。如果实在装不上dlib还有一个退路用OpenCV自带的cv2.getRotationMatrix2D做简单的模板匹配但效果会差不少不推荐。模型文件有三个haarcascade_frontalface_default.xmlOpenCV安装包自带通过cv2.data.haarcascades能找到。res10_300x300_ssd_iter_140000.caffemodel和deploy.prototxt需要从OpenCV的GitHub仓库下载。shape_predictor_68_face_landmarks.dat从dlib官方或GitHub下载约100MB这个是关键点检测的核心文件。4.2 运行流程与实测效果运行很简单python main.py就会弹出GUI点击“开始检测”后摄像头启动。没有摄像头的电脑可以把代码里的VideoCapture(0)换成视频文件路径系统就会按视频文件逐帧处理。我在一个模拟课堂环境的场景下实测过用一台普通笔记本720P摄像头拍摄距离2到4米室内光线正常。Haar方案下单帧检测到2到4张人脸处理速度约20FPS换成DNN方案后检测到的人脸数量提升到4到6张处理速度降到12FPS左右。抬头判断的准确率很难精确量化因为缺少标注真值但目测下来阈值设在12到15度之间时判断结果和实际动作基本吻合。整个检测过程中GUI右侧的平均抬头率数字会平滑变动而当前帧抬头率波动比较大这是因为单帧画面里可能正好有学生低头捡东西导致瞬时值跳变。所以最终输出看平均值更有意义。4.3 常见问题排查实录这里把最常见的坑整理一下都是我在测试过程中真实遇到过的。问题一摄像头打不开报错Unable to capture优先检查摄像头是否被占用比如微信、腾讯会议之类的软件正在使用摄像头在任务管理器里把占用程序关掉再试。另外VideoCapture(0)里的0是设备索引笔记本自带摄像头通常为0外接USB摄像头可能需要改成1可以写循环尝试多个索引。问题二dlib装不上Windows下pip install dlib编译报错基本是缺少Visual Studio Build Tools或CMake。最省事的方法是用Anaconda装conda install -c conda-forge dlib。装完之后在Python里执行import dlib验证一下。问题三人脸检测结果全是零先看摄像头画面是否在GUI中正常显示再检查模型路径是否正确。很多人把xml文件路径写死换机器跑就找不到文件。我建议用os.path.join拼接路径并检查文件是否存在。问题四OpenCV报error: (-215:Assertion failed)这种情况大多是imread读到空图也就是模型文件路径不对。建议在代码里先打印路径和cv2.os.path.exists()的结果。问题五界面卡顿界面卡顿一般是没开线程或者视频帧太大。把处理线程独立出来、把图片缩放到640宽度、限制帧率在20FPS左右卡顿基本能解决。如果还用matplotlib画图注意画图不要阻塞主线程尽量只在停止统计后画一次。问题六抬头率数值跳变太剧烈把“当前帧抬头率”和“平均抬头率”分开看待界面显示的时候对当前帧做滑动平均比如取最近10帧的平均值来抑制噪声。统计上报的时候还是用原始值这样可以兼顾实时性和稳定性。5. 作为毕设的进阶扩展与答辩经验5.1 功能层面的扩展思路如果时间充裕下面这些扩展方向可以选一两个做能明显提升毕设的完成度。第一把检测模型升级为YOLOv8。YOLOv8在精度和速度上都远超Haar和OpenCV DNN而且官方提供了Python接口训练和推理都很方便。换成YOLO后人脸检测的召回率会有明显提升尤其是低头时检测到半张脸的情况。第二加入课程管理功能。把系统从“单次课堂统计”升级成“多课程数据管理系统”用SQLite保存每次检测的课程名称、教师、时段、抬头率曲线还能按课程横向对比。这个功能一加系统就从工具变成了平台论文里的系统设计章节能多写好几页。第三联动人脸识别考勤。抬头率检测系统里本来就有“检测到人脸”和“识别到是谁”的能力。如果把第二步的人脸特征提取加上就可以同时实现“查到课人数”和“判断听课状态”一个系统解决两个问题答辩时很容易讲出应用价值。第四支持摄像头云台追踪。用两个舵机把摄像头架起来根据人脸在画面中的位置控制舵机转动让摄像头自动跟踪学生区域。这个属于硬件结合的方向如果你们实验室有相关的板卡和伺服电机可以尝试。5.2 论文写作与答辩展示建议论文核心章节的框架我建议按“需求分析-总体设计-模块详细设计-系统测试-总结”来写跟代码模块一一对应。很多人写论文时只贴代码不画图这是大忌。我在上一篇提到模块结构图、时序图、流程图都能直观展示工作量建议用Visio或者draw.io画清楚。答辩演示时有几点经验值得注意提前准备好一个录好的演示视频。现场摄像头有时候受光线、位置限制效果不稳定录好的视频可以保证演示效果。展示抬头率变化曲线时准备一段学生明显在“低头写作业-抬头看黑板”之间切换的测试视频这样曲线变化会特别明显评委一眼就能看懂系统逻辑。准备2到3张效果对比图Haar和DNN的检测结果对比、阈值不同时抬头率曲线对比、光线正常与光线偏暗时的检测效果对比。这些对比图是论文和PPT里的加分项。最后再分享一个小技巧用系统的时候摄像头的高度会直接影响抬头判断。摄像头放在讲台平视位置时学生正常看黑板基本上是0度左右的pitch角摄像头放高往下俯拍时所有学生的pitch角会整体偏负。所以如果你的摄像头安装角度比较特殊一定要用阈值调节滑条先做一次校准让一个明确抬头的人被判定为抬头再开始正式统计。拿到一套代码先用起来再根据实际环境调参数这比一开始就追求完美方案要实在得多。本文还有配套的精品资源点击获取 OpenCV+PyQt5实现课堂抬头率检测系统：从人脸检测到姿态估计
简介本资源是一套面向本科毕业设计的课堂抬头率检测系统实现方案基于OpenCV与传统人脸识别技术解决教学过程中的学生专注度量化评估问题适用于教育技术、计算机视觉初学者及毕设选题学生。压缩包共22个文件2.88MB含4个Jupyter Notebook.ipynb主程序——涵盖摄像头调用、人脸检测、GUI界面集成与完整流程运行3个Python脚本.py提供轻量部署选项5个XML级联分类器模型文件如haarcascade_frontalface_alt2.xml直接支持人脸定位另含测试图片、Excel统计模板及README说明文档结构清晰、开箱即用。已有736人学习下载提供从图像采集、实时识别到抬头率计算结合预设选课人数的全链路代码UI界面简洁可交互并附初始环境配置提示与中英文混合注释便于理解原理与快速调试。 做毕设选“基于OpenCV人脸识别的课堂抬头率检测系统”这个题目的同学我见得挺多。原因是这个题目方向明确、技术栈成熟、学习资料多最关键的是“人脸识别”和“GUI界面”都是评委老师一眼就能看到的东西展示效果好。但真动手做的时候很多人会卡在同一个地方人脸检测好跑抬头率到底怎么算GUI和视频处理又怎么衔接我自己调试过一套完整的可运行方案这篇文章就把整体设计、核心算法、关键代码、踩坑记录全部拆开讲一遍照着走基本能跑通。这套方案适合三类人一是正在做相关毕设、需要快速搭建演示系统的同学二是想做一个能放到简历里的综合项目的开发者三是想了解OpenCV人脸检测、头部姿态估计和PyQt5 GUI开发如何结合的新手。下面开始。1. 项目整体设计与技术选型1.1 系统到底要做什么先把需求聊清楚。课堂抬头率检测系统场景是这样的摄像头放在教室前方对准学生区域系统实时采集画面检测画面里的每一张人脸判断每个学生是抬头还是低头然后统计这一段课堂时间内的“抬头率”。抬头率这个概念在不同论文里定义不完全一样有的按人数算有的按时间算有的两者结合但本质上都是想量化“学生认真听讲的程度”。我在设计时把它拆成了几个功能模块实时视频采集支持摄像头输入也支持视频文件回放方便没有摄像头环境时测试。人脸检测从每帧画面中检测出所有人脸位置。抬头状态判断对每张人脸判断“抬头”或“低头”。实时统计每秒或每分钟计算一次抬头率画出变化曲线。数据保存把统计结果导出成CSV文件方便写论文时做数据分析。GUI界面能显示实时画面、检测结果、统计数据提供开始/停止/导出等操作。GUI我用的是PyQt5后面会细说为什么。整个系统用Python开发核心算法用OpenCV辅助用dlib提供人脸关键点再用OpenCV的solvePnP做头部姿态估计。全部依赖都是Python生态里比较成熟的库跑通难度不大。1.2 技术选型OpenCV、GUI库、姿态估计方案先说人脸检测。这个题目里写了“基于OpenCV”所以主力肯定是用OpenCV自带的人脸检测器。OpenCV里最经典的人脸检测方案是Haar级联分类器文件就一个haarcascade_frontalface_default.xml加载方便CPU上跑得也快。但它的缺点也明显对侧脸、遮挡、光线变化比较敏感课堂场景下学生低头或者用手托腮时容易漏检。所以我在实际代码里做了两手准备默认用Haar级联因为代码最简单、依赖最少如果追求更好的检测效果可以换成OpenCV的DNN人脸检测器加载一个Caffe模型文件检测精度和鲁棒性会高不少。两种方案的代码我都写在下面可以根据自己的需求切换。再说GUI库。Python的GUI选择无非就是Tkinter、PyQt5/PySide2、wxPython这几个。Tkinter虽然内置、简单但界面比较朴素做毕设展示时第一印象会打折扣。PyQt5虽然安装体积大一些但界面美观、控件丰富还支持QThread多线程处理视频流非常顺手。考虑到毕设答辩时界面是重要的呈现部分我推荐PyQt5。如果不想承担PyQt5的安装风险用Tkinter也能做只是代码里视频帧的显示逻辑要自己多写一点。最后说抬头判断。这是整个系统的核心难点也是最容易让评委眼前一亮的地方。纯靠OpenCV的Haar人脸框只能知道“有没有人”判断不了“抬头还是低头”所以我引入了dlib的68点人脸关键点检测结合OpenCV的solvePnP做头部姿态估计算出人脸的俯仰角pitch角根据俯仰角是否超过阈值来判断抬头状态。这个方案兼顾了精度和实现可行性也是很多相关毕设论文里的主流做法。2. 核心算法与抬头判断原理2.1 人脸检测的两种方案对比先给一份对比表格方便你在动手前决定选哪套。方案模型/文件检测速度精度依赖复杂度适用场景Haar级联haarcascade_frontalface_default.xml快一般最低OpenCV自带即可正脸为主、光线稳定OpenCV DNNres10_300x300_ssd_iter_140000.caffemodel中等较高需要下载模型文件课堂实景、姿态多样Haar级联的原理是基于Haar-like特征和AdaBoost分类器用滑动窗口在图像金字塔上逐级判断是否为人脸。它的优点是计算量小在普通CPU上也能跑到几十毫秒一帧缺点是对角度敏感超过30度的侧脸基本失效。OpenCV DNN人脸检测器是基于SSD网络结构训练的精度高很多对侧脸和遮挡的容忍度更好。我在实际测试中把摄像头放在教室前方斜45度角的位置时Haar普遍只能检测到正对镜头的前排学生而DNN可以覆盖到中排侧身的学生。如果你的毕设想做出更好的效果建议直接用DNN方案。代码方面Haar检测就几行import cv2 face_cascade cv2.CascadeClassifier( cv2.data.haarcascades haarcascade_frontalface_default.xml ) def detect_faces_haar(gray_frame, scale_factor1.1, min_neighbors5): faces face_cascade.detectMultiScale( gray_frame, scaleFactorscale_factor, minNeighborsmin_neighbors, minSize(60, 60) ) return faces # 返回 [x, y, w, h] 列表DNN方案稍微复杂一点但也不难import cv2 import numpy as np net cv2.dnn.readNetFromCaffe( deploy.prototxt, res10_300x300_ssd_iter_140000.caffemodel ) def detect_faces_dnn(frame, conf_threshold0.6): h, w frame.shape[:2] blob cv2.dnn.blobFromImage( cv2.resize(frame, (300, 300)), 1.0, (300, 300), (104.0, 177.0, 123.0) ) net.setInput(blob) detections net.forward() faces [] for i in range(detections.shape[2]): confidence detections[0, 0, i, 2] if confidence conf_threshold: box detections[0, 0, i, 3:7] * np.array([w, h, w, h]) x1, y1, x2, y2 box.astype(int) faces.append((x1, y1, x2 - x1, y2 - y1)) return faces实际跑下来DNN的漏检率低很多。但如果你只是想在毕设里先跑通Haar可以先用着后面再升级。2.2 抬头判断从人脸框到头部姿态估计这里是我要重点讲的部分。很多人一开始会想当然地认为检测到人脸就等于抬头检测不到就等于低头。这个想法做演示还行但在教室实景里站不住脚学生低头时如果摄像头角度偏上依然能检测到半张脸学生抬头但手挡住脸反而检测不到。纯粹靠“有没有人脸”来判断抬头率论文里说不过去。正确的思路是对检测到的每张人脸先定位脸部的关键点——比如鼻尖、下巴、左右眼角、左右嘴角——然后用这些2D像素坐标结合一组标准3D人脸模型坐标通过solvePnP算法解算头部的旋转向量再转换成欧拉角。这里的pitch角就是俯仰角抬头时pitch为正值低头时为负值。设定一个阈值pitch低于阈值就判定为低头。3D人脸模型坐标用的是通用值这是我用的标准坐标点单位毫米model_points_3d np.array([ [0.0, 0.0, 0.0], # 鼻尖对应2D点索引30 [0.0, -330.0, -65.0], # 下巴对应2D点索引8 [-225.0, 170.0, -135.0],# 左眼左眼角对应2D点索引36 [225.0, 170.0, -135.0], # 右眼右眼角对应2D点索引45 [-150.0, -150.0, -125.0],# 嘴巴左角对应2D点索引48 [150.0, -150.0, -125.0] # 嘴巴右角对应2D点索引54 ], dtypenp.float64)对应的2D点来自dlib的68点关键点检测结果。dlib需要安装并下载一个模型文件shape_predictor_68_face_landmarks.dat检测关键点的代码import dlib detector dlib.get_frontal_face_detector() predictor dlib.shape_predictor(shape_predictor_68_face_landmarks.dat) def get_face_landmarks(frame, face_rect): gray cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY) rect dlib.rectangle(face_rect[0], face_rect[1], face_rect[0] face_rect[2], face_rect[1] face_rect[3]) shape predictor(gray, rect) return shape # 通过 shape.part(i) 获取第 i 个关键点坐标拿到关键点后做姿态估计def calculate_head_pose(shape): # 提取7个关键点的2D坐标注意顺序要和 model_points_3d 对应 img_points_2d np.array([ (shape.part(30).x, shape.part(30).y), # 鼻尖 (shape.part(8).x, shape.part(8).y), # 下巴 (shape.part(36).x, shape.part(36).y), # 左眼左眼角 (shape.part(45).x, shape.part(45).y), # 右眼右眼角 (shape.part(48).x, shape.part(48).y), # 嘴巴左角 (shape.part(54).x, shape.part(54).y) # 嘴巴右角 ], dtypenp.float64) # 相机内参实际项目中应该通过标定获得 # 这里用近似值焦距取图像宽度光心取图像中心 focal_length frame_width center (frame_width / 2, frame_height / 2) camera_matrix np.array( [[focal_length, 0, center[0]], [0, focal_length, center[1]], [0, 0, 1]], dtypenp.float64 ) dist_coeffs np.zeros((4, 1)) success, rotation_vector, translation_vector cv2.solvePnP( model_points_3d, img_points_2d, camera_matrix, dist_coeffs, flagscv2.SOLVEPNP_ITERATIVE ) # 旋转向量转旋转矩阵再转欧拉角 rotation_matrix, _ cv2.Rodrigues(rotation_vector) sy np.sqrt(rotation_matrix[0, 0] ** 2 rotation_matrix[1, 0] ** 2) singular sy 1e-6 if not singular: pitch np.arctan2(rotation_matrix[2, 1], rotation_matrix[2, 2]) * 180.0 / np.pi else: pitch np.arctan2(-rotation_matrix[1, 2], rotation_matrix[1, 1]) * 180.0 / np.pi return pitch这里有一个关键注释要说明相机内参矩阵我没有做真正的标定而是用近似值即焦距取图像宽度、光心取图像中心。这样做在绝大多数场景下误差在可接受范围内。如果你想要更精确的结果可以用棋盘格标定相机但对课堂抬头率这个应用来说近似值足够区分抬头和低头了。抬头/低头的判定阈值我经过多轮测试后建议初始值为pitch 12判定为低头pitch 12判定为抬头。这个12度不是写死的和摄像头安装高度、拍摄角度都有关系。实际使用中可以加一个调试滑块实时调整阈值观察效果。2.3 抬头率的数学定义与统计口径抬头率听起来简单但统计口径不提前定清楚后面写论文会很难受。我在系统里用了三层统计瞬时抬头率某一帧画面中抬头人数占检测到总人数的比例。比如一帧检测到8张脸其中6张抬头瞬时抬头率就是75%。平均抬头率整个统计时段内所有有效帧的瞬时抬头率平均值。这是最终输出的核心指标。分时段抬头率把整段时间按分钟切分每分钟求一个平均抬头率这样可以画出一条“时间-抬头率”曲线观察课堂不同阶段的专注度变化。用公式表达就是单帧抬头率 R(t) 抬头人数(t) / 检测总人数(t) * 100% 整节课平均抬头率 R_avg (1/N) * Σ R(t)这里要注意的是分母的统计口径。有人会把“检测总人数”理解成画面里所有出现过的学生总数但这样在有人暂时离座、被遮挡时分母就会不准。更稳妥的做法是只计算“当前帧能检测到的脸”作为分母这一帧有多少张脸就在这些脸里算抬头比例然后对所有有效帧取平均。这样即使某帧只检测到两个人也不会影响整体数据的合理性。代码实现里就是维护几个累加变量total_frames 0 # 有效帧数 total_rate_sum 0.0 # 瞬时抬头率累加和 current_rate 0.0 # 当前帧抬头率 # 每处理一帧 if detected_count 0: head_up_count ... current_rate head_up_count / detected_count * 100 total_frames 1 total_rate_sum current_rate # 结束时 avg_rate total_rate_sum / total_frames if total_frames 0 else 03. 完整代码实现与模块分解3.1 项目结构规划写代码之前先规划好目录结构。我的项目是这样的head_up_rate_system/ │ ├── main.py # 程序入口启动GUI ├── detector.py # 人脸检测与姿态估计模块 ├── statistics.py # 抬头率统计模块 ├── ui_main.py # PyQt5主窗口 ├── video_thread.py # 视频处理线程 │ ├── models/ │ ├── haarcascade_frontalface_default.xml │ ├── deploy.prototxt │ ├── res10_300x300_ssd_iter_140000.caffemodel │ └── shape_predictor_68_face_landmarks.dat │ └── output/ └── result.csv # 统计结果输出模块之间职责分明detector.py负责算法video_thread.py负责在后台线程里处理视频帧statistics.py负责统计ui_main.py只负责界面显示和用户交互。这样分开的好处是调bug的时候不用在一个文件里反复翻论文里画系统结构图也方便。3.2 GUI主窗口与摄像头画面显示用PyQt5写界面核心是把OpenCV的BGR帧转成QImage再显示到QLabel上。这个转换代码非常固定def cv2_to_qimage(frame): rgb_image cv2.cvtColor(frame, cv2.COLOR_BGR2RGB) h, w, ch rgb_image.shape bytes_per_line ch * w qimage QImage(rgb_image.data, w, h, bytes_per_line, QImage.Format_RGB888) return qimage.copy()bytesPerLine不写对的话图像会裂开或者颜色错乱这是新手最容易踩的坑。copy()也不能省因为原图数据在OpenCV侧可能被释放不拷贝会出现花屏。主窗口布局我用了左图右信息的方式左边是一个大QLabel显示实时视频画面右边放检测状态、抬头率实时数值、控制按钮和统计曲线。右侧信息区从上到下依次是当前帧抬头数/总人数、实时抬头率、平均抬头率、开始/停止/导出按钮、阈值调节滑条、绘制曲线的QLabel。3.3 视频处理线程与检测逻辑GUI里跑视频处理必须用线程否则摄像头帧一多界面会卡成PPT。我封装了一个VideoThread继承自QThread每一帧的处理流程是从VideoCapture读取一帧转灰度图做直方图均衡化equalizeHist增强低光照下的人脸检测效果调用人脸检测器得到所有人脸框对每个人脸框提取关键点计算pitch角根据pitch阈值判断抬头/低头把检测结果绘制到帧上画框抬头画绿色低头画红色把统计结果存入统计模块把处理后的帧转成QImage通过信号发给主窗口显示核心逻辑import cv2 import numpy as np import dlib from PyQt5.QtCore import QThread, pyqtSignal class VideoThread(QThread): change_pixmap pyqtSignal(QImage) update_stats pyqtSignal(dict) def __init__(self, detector, statistics, parentNone): super().__init__(parent) self.detector detector self.statistics statistics self.running True self.cap cv2.VideoCapture(0) def run(self): while self.running: ret, frame self.cap.read() if not ret: continue # 缩小画面加速处理长边控制在640左右 frame self.detector.resize_to_width(frame, 640) gray cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY) gray cv2.equalizeHist(gray) faces self.detector.detect_faces(gray) head_up_count 0 total_count 0 for (x, y, w, h) in faces: # 扩一下人脸框给关键点检测提供更多上下文 expand 20 x1 max(0, x - expand) y1 max(0, y - expand) x2 min(frame.shape[1], x w expand) y2 min(frame.shape[0], y h expand) shape self.detector.get_landmarks(gray, (x1, y1, x2, y2)) if shape is None: continue pitch self.detector.get_pitch(shape, frame.shape[1], frame.shape[0]) is_head_up pitch self.detector.pitch_threshold color (0, 255, 0) if is_head_up else (0, 0, 255) cv2.rectangle(frame, (x, y), (x w, y h), color, 2) cv2.putText(frame, fpitch:{pitch:.1f}, (x, y - 10), cv2.FONT_HERSHEY_SIMPLEX, 0.5, color, 2) total_count 1 if is_head_up: head_up_count 1 self.statistics.update_frame(head_up_count, total_count) stats self.statistics.get_current_stats() self.update_stats.emit(stats) qt_image cv2_to_qimage(frame) self.change_pixmap.emit(qt_image) # 控制处理帧率避免CPU占用过高 self.msleep(50) # 约20FPS self.cap.release() def stop(self): self.running False self.wait()这里有个细节self.msleep(50)把帧率限制在20FPS左右。人脸检测和姿态估计在CPU上跑分辨率越高越慢。把图像长边缩到640像素之后单帧处理时间通常在30到80毫秒之间加上msleep间隔界面还是很流畅的。如果追求更低的CPU占用可以把帧率压到10FPS对抬头率统计影响也不大因为抬头动作本身就是慢变的。3.4 抬头率统计与数据导出统计模块用了一个独立类来维护所有数据。除了前面提到的三个统计指标我还会记录每分钟的平均抬头率最后导出的CSV结构是时间,累计平均抬头率,当前帧抬头率,当前帧人数,抬头人数为了避免中途程序崩溃丢数据我会在界面停止时自动保存一份CSV另外加一个手动导出按钮可以随时把当前统计结果写出去。导出代码很简单import csv def export_to_csv(self, filepath): with open(filepath, w, newline, encodingutf-8-sig) as f: writer csv.writer(f) writer.writerow([second, avg_rate, current_rate, total_count, head_up_count]) for record in self.records: writer.writerow(record) writer.writerow([OVERALL, self.avg_rate, , , ])用utf-8-sig编码是为了让Excel直接打开CSV时中文不乱码。这个细节很多人的代码里都没有但用的时候特别实用。数据可视化我额外用matplotlib画了一张“每分钟平均抬头率”的柱状图在界面停止后显示出来。画图这块单独写在统计模块里生成图片后保存到输出目录答辩时可以当素材用。4. 环境搭建与运行指南4.1 依赖安装与模型文件准备要跑起来需要安装的Python包如下pip install opencv-python pip install dlib pip install PyQt5 pip install numpy pip install matplotlib这里面最容易出问题的是dlib。Windows环境下装dlib经常报错原因是需要编译C代码。我的建议是如果用的是Python 3.10以下的版本先试试pip install dlib装不上再找预编译的wheel文件。Python 3.11以上dlib官方包经常没有对应wheel可以换用pip install dlib-bin或者干脆用Anaconda环境conda install -c conda-forge dlib会省事很多。如果实在装不上dlib还有一个退路用OpenCV自带的cv2.getRotationMatrix2D做简单的模板匹配但效果会差不少不推荐。模型文件有三个haarcascade_frontalface_default.xmlOpenCV安装包自带通过cv2.data.haarcascades能找到。res10_300x300_ssd_iter_140000.caffemodel和deploy.prototxt需要从OpenCV的GitHub仓库下载。shape_predictor_68_face_landmarks.dat从dlib官方或GitHub下载约100MB这个是关键点检测的核心文件。4.2 运行流程与实测效果运行很简单python main.py就会弹出GUI点击“开始检测”后摄像头启动。没有摄像头的电脑可以把代码里的VideoCapture(0)换成视频文件路径系统就会按视频文件逐帧处理。我在一个模拟课堂环境的场景下实测过用一台普通笔记本720P摄像头拍摄距离2到4米室内光线正常。Haar方案下单帧检测到2到4张人脸处理速度约20FPS换成DNN方案后检测到的人脸数量提升到4到6张处理速度降到12FPS左右。抬头判断的准确率很难精确量化因为缺少标注真值但目测下来阈值设在12到15度之间时判断结果和实际动作基本吻合。整个检测过程中GUI右侧的平均抬头率数字会平滑变动而当前帧抬头率波动比较大这是因为单帧画面里可能正好有学生低头捡东西导致瞬时值跳变。所以最终输出看平均值更有意义。4.3 常见问题排查实录这里把最常见的坑整理一下都是我在测试过程中真实遇到过的。问题一摄像头打不开报错Unable to capture优先检查摄像头是否被占用比如微信、腾讯会议之类的软件正在使用摄像头在任务管理器里把占用程序关掉再试。另外VideoCapture(0)里的0是设备索引笔记本自带摄像头通常为0外接USB摄像头可能需要改成1可以写循环尝试多个索引。问题二dlib装不上Windows下pip install dlib编译报错基本是缺少Visual Studio Build Tools或CMake。最省事的方法是用Anaconda装conda install -c conda-forge dlib。装完之后在Python里执行import dlib验证一下。问题三人脸检测结果全是零先看摄像头画面是否在GUI中正常显示再检查模型路径是否正确。很多人把xml文件路径写死换机器跑就找不到文件。我建议用os.path.join拼接路径并检查文件是否存在。问题四OpenCV报error: (-215:Assertion failed)这种情况大多是imread读到空图也就是模型文件路径不对。建议在代码里先打印路径和cv2.os.path.exists()的结果。问题五界面卡顿界面卡顿一般是没开线程或者视频帧太大。把处理线程独立出来、把图片缩放到640宽度、限制帧率在20FPS左右卡顿基本能解决。如果还用matplotlib画图注意画图不要阻塞主线程尽量只在停止统计后画一次。问题六抬头率数值跳变太剧烈把“当前帧抬头率”和“平均抬头率”分开看待界面显示的时候对当前帧做滑动平均比如取最近10帧的平均值来抑制噪声。统计上报的时候还是用原始值这样可以兼顾实时性和稳定性。5. 作为毕设的进阶扩展与答辩经验5.1 功能层面的扩展思路如果时间充裕下面这些扩展方向可以选一两个做能明显提升毕设的完成度。第一把检测模型升级为YOLOv8。YOLOv8在精度和速度上都远超Haar和OpenCV DNN而且官方提供了Python接口训练和推理都很方便。换成YOLO后人脸检测的召回率会有明显提升尤其是低头时检测到半张脸的情况。第二加入课程管理功能。把系统从“单次课堂统计”升级成“多课程数据管理系统”用SQLite保存每次检测的课程名称、教师、时段、抬头率曲线还能按课程横向对比。这个功能一加系统就从工具变成了平台论文里的系统设计章节能多写好几页。第三联动人脸识别考勤。抬头率检测系统里本来就有“检测到人脸”和“识别到是谁”的能力。如果把第二步的人脸特征提取加上就可以同时实现“查到课人数”和“判断听课状态”一个系统解决两个问题答辩时很容易讲出应用价值。第四支持摄像头云台追踪。用两个舵机把摄像头架起来根据人脸在画面中的位置控制舵机转动让摄像头自动跟踪学生区域。这个属于硬件结合的方向如果你们实验室有相关的板卡和伺服电机可以尝试。5.2 论文写作与答辩展示建议论文核心章节的框架我建议按“需求分析-总体设计-模块详细设计-系统测试-总结”来写跟代码模块一一对应。很多人写论文时只贴代码不画图这是大忌。我在上一篇提到模块结构图、时序图、流程图都能直观展示工作量建议用Visio或者draw.io画清楚。答辩演示时有几点经验值得注意提前准备好一个录好的演示视频。现场摄像头有时候受光线、位置限制效果不稳定录好的视频可以保证演示效果。展示抬头率变化曲线时准备一段学生明显在“低头写作业-抬头看黑板”之间切换的测试视频这样曲线变化会特别明显评委一眼就能看懂系统逻辑。准备2到3张效果对比图Haar和DNN的检测结果对比、阈值不同时抬头率曲线对比、光线正常与光线偏暗时的检测效果对比。这些对比图是论文和PPT里的加分项。最后再分享一个小技巧用系统的时候摄像头的高度会直接影响抬头判断。摄像头放在讲台平视位置时学生正常看黑板基本上是0度左右的pitch角摄像头放高往下俯拍时所有学生的pitch角会整体偏负。所以如果你的摄像头安装角度比较特殊一定要用阈值调节滑条先做一次校准让一个明确抬头的人被判定为抬头再开始正式统计。拿到一套代码先用起来再根据实际环境调参数这比一开始就追求完美方案要实在得多。本文还有配套的精品资源点击获取