简介：一套基于Gabor滤波、PCA+LDA降维与SVM分类的人脸表情/微表情识别Python工程，适合计算机视觉、机器学习方向的开发者与学生进行算法学习、实验复现或二次开发。系统采用PyQt构建图形界面，并集成重新编译、支持多线程训练的libSVM库，在保证识别精度的同时兼顾运行效率。资源包共808个文件，大小35.85MB，包含749张JPG图像数据集、21个XML配置文件、6个预训练模型、5个Python源码、5个数据库文件以及若干可执行文件等，文件类型覆盖训练数据、模型参数、程序代码与GUI资源，目录结构清晰，便于整体理解与局部替换。已有410人学习下载。读者可获得完整可运行的项目源码、标注好的表情图像数据集、训练完成的模型文件以及多线程SVM工具链，直接运行界面即可体验完整识别流程，也能对照源码深入掌握Gabor特征提取、PCA+LDA降维和SVM分类的工程实现。

1. 人脸表情识别为什么难，这套 Python 源码又解决了什么

在不带身份验证的纯表情识别场景下，人脸识别那套深度模型并不一定比 Gabor + PCA + LDA + SVM 这套传统机器学习组合更舒服。表情差异往往只集中在眼睛、嘴角、额头几处局部纹理的变化，幅度小、容易被光照和遮挡淹没，很多看起来“先进”的模型在公开表情数据集上反而被经典手工特征压着打。这套基于 Python 构建的人脸表情/微表情识别系统，正是把一条完整 pipeline 串好了：Gabor 滤波从面部图像提取多方向纹理特征，PCA 先压缩维度，LDA 再按类别拉开距离，最后交给 SVM 分类，并用 PyQt 做了一套能选图、能实时预测的图形界面。

它适合两类人：一是做毕业设计、课程设计，需要尽快跑通完整流程并看到可视化效果的学生；二是想复习传统特征工程和机器学习组合、研究“小样本下深度学习未必占优”这个问题的从业者。拿到源码后不需要从零写滤波器、调 SVM 接口，重点在于看懂每个环节的输入输出和参数意图。下文按训练 pipeline 逐层拆开，每层都会给出代码、参数含义和踩坑记录。

2. Gabor 滤波做表情特征：滤波器组的参数取舍与特征拼接

2.1 Gabor 为什么从一堆手工特征里被选中

表情识别不像人脸识别那样依赖五官整体的几何结构，反而依赖局部纹理变化。微笑时脸颊肌肉出现方向性拉扯，皱眉时额头和眼角出现径向纹路，这些区域的尺度都不大。Gabor 滤波器本质是一个带方向选择性的带通滤波器，能够在不同频率和不同方向下对图像产生强响应，保留“哪里起了皱、皱的方向朝哪边”的信息，同时对光照变化也不像原始像素那么敏感。

它的数学形态是高斯包络调制正弦平面波，空域里是一个复数核，实部是余弦分量、虚部是正弦分量。OpenCV 的cv2.getGaborKernel默认返回实部核，做表情特征已经完全够用。构造 Gabor 核需要关注五个参数，这五个参数直接决定后面 PCA 能不能提取出有效主成分，建议按下表设置初始值：

sigma 和 lambd 一旦搭配不当，滤波器要么只对极粗纹理响应，要么高频噪声全被放出来。实际做表情时通常不会只用一个核，而是构建一个多尺度、多方向的滤波器组：尺度取 2～3 档，方向取 4～8 个，这样既能捕捉嘴角这种小尺度变化，也能捕捉额头纹这种相对大尺度的变化。

2.2 滤波器组构建与特征拼接代码

拿到源码包后，你不需要自己从零造滤波器轮子，但一定要理解它内部是怎么生成特征向量的。下面这段代码是我在复现这类项目时惯用的精简版，和原项目思路一致：

import cv2 import numpy as np def build_gabor_bank(ksize=31, sigmas=(4, 8), lambdas=(10.0, 15.0), thetas=(0, 45, 90, 135), gammas=(0.3, 0.5)): """ 生成 Gabor 滤波器组 sigmas: 尺度档位, 控制滤波核的感受野 thetas: 方向档位, 单位是度, 内部会转成弧度 """ kernels = [] for sigma in sigmas: for lam in lambdas: for theta in thetas: for gamma in gammas: kernel = cv2.getGaborKernel( (ksize, ksize), sigma, np.deg2rad(theta), lam, gamma, 0) kernels.append(kernel) return kernels def extract_gabor_features(gray_img, kernels, feat_size=8): """ 对灰度人脸图依次做 Gabor 滤波 每张响应图重采样成 feat_size x feat_size 再拉平拼接 """ feats = [] for kernel in kernels: # CV_32F 输出, 避免 8bit 截断 filtered = cv2.filter2D(gray_img, cv2.CV_32F, kernel) # 保留低分辨率空间纹理分布, 而不是只取均值 resized = cv2.resize(filtered, (feat_size, feat_size)) feats.append(resized.flatten()) return np.concatenate(feats).reshape(1, -1)

代码逻辑上分成两段：第一段build_gabor_bank用四层循环组合出 2×2×4×2 = 32 个滤波器核，每个核对应一种尺度、一种波长、一个方向、一种椭圆度；第二段extract_gabor_features对单张灰度图依次做滤波，把每张响应图重采样成 8×8 再拉平成 64 维，32 个核拼起来就是 2048 维特征向量。

这里有个容易被忽视的细节：filter2D的输出是浮点型，如果用默认的CV_8U输出，负响应会被截断成 0，纹理方向信息直接损失一半。所以强烈建议显式传CV_32F。特征维度也不是越高越好，2048 维对几百张训练图片来说已经不低，后面必须接降维，否则 SVM 在核函数计算时会产生巨大的核矩阵。

2.3 关于微表情识别的一个补充：为什么更要关注局部

微表情和普通表情的差别在持续时间和幅度上，纹理变化比普通表情更弱，全局统计量很难感知。把每张响应图重采样成 8×8 再拼接，这个做法的意义是：它保留了“响应强的地方在左眼还是右眼、在嘴部还是额头”这种空间位置信息，而不是简单地用均值和方差糊过去。

如果你拿到源码后想针对微表情调优，可以先把feat_size从 8 改成 12 或 16，让空间分辨率更细，代价是特征维度从 2048 涨到 4608 或 8192。此时要同步调整后面 PCA 的保留维度，不然会带入大量噪声，准确率反而下降。实践中我一般把feat_size控制在 8～16 之间，不要一上来就追求高分辨率。

3. PCA+LDA 降维：两个线性方法为什么要串起来用

3.1 PCA 和 LDA 各自解决什么问题

Gabor 特征提取完之后，手头是几千维的向量。如果不降维直接丢给 SVM，会出现两个问题：一是维度灾难导致核矩阵巨大，训练时间不可接受；二是很多维度是冗余的，光照、头部轻微转动产生的方差在 PCA 看来是“主要结构”，但对表情分类毫无帮助甚至干扰。

PCA 是无监督降维，它只管找方差最大的投影方向，完全不在乎这些方向是否属于某个表情类别。副产物是能压缩特征维度、消除冗余。LDA 则不同，它是有监督降维，目标是最大化类间散度与类内散度的比值，找一个让不同表情中心尽量分开、同类表情尽量聚拢的投影空间。

单纯用 PCA，类别可分性可能很差；单纯用 LDA，在特征维度远高于样本数时类内散度矩阵几乎必然奇异，求解过程会得到一堆诡异的投影方向。所以经典做法是：先用 PCA 把 2048 维压到几十维，让类内散度矩阵可逆，再用 LDA 做最终的判别投影。

3.2 PCA 维度到底保留多少：看累计方差贡献率

这里的“度”很关键，也是最容易拍脑袋出错的地方。我不建议随手写成 30 或 100，而是先让 PCA 完整跑一遍，看累计方差贡献率曲线再决定：

from sklearn.decomposition import PCA from sklearn.discriminant_analysis import LinearDiscriminantAnalysis as LDA # X_train: (n_samples, 2048) 每行是一个样本的 Gabor 特征 # y_train: (n_samples,) 表情类别标签 # 第一次先跑完整 PCA, 观察累计方差贡献率 pca_full = PCA(n_components=None, svd_solver='full') pca_full.fit(X_train) cum = pca_full.explained_variance_ratio_.cumsum() # 取累计贡献率首次达到 0.92 的维度, 具体阈值可调 k = int((cum >= 0.92).argmax()) + 1 print(f"保留维度: {k}, 累计贡献率: {cum[k-1]:.4f}") # 按 k 重新训练 PCA pca = PCA(n_components=k) X_pca = pca.fit_transform(X_train) # LDA 降维, 上限是类别数 - 1 n_classes = len(set(y_train)) lda = LDA(n_components=n_classes - 1) X_lda = lda.fit_transform(X_pca, y_train)

逻辑说明：先不指定维度跑一次 PCA，拿到每个主成分的方差贡献率，然后从大到小累计，找到累计贡献率刚好超过阈值的位置。92% 这个阈值是我在表情任务上常用的起点，如果后续 SVM 交叉验证分数偏低，可以适当降到 90% 或升到 95%，但不要低于 90%，否则会把很多低频纹理细节丢掉。

参数说明：svd_solver='full'是为了在小样本情况下拿到完整的方差贡献率序列，默认的自动模式在样本数小于特征维度时可能走截断路径，拿不到完整的explained_variance_ratio_。LDA(n_components=n_classes-1)是数学上限，7 类表情最多降到 6 维，设成 10 会直接报错；设成更小的值则意味着你主动放弃了一部分判别信息。

3.3 PCA+LDA 降维后的空间长什么样

一组典型参数下，2048 维 Gabor 特征经过 PCA 变成 40～80 维，再经过 LDA 变成 6 维。这 6 维空间里，每种表情大致聚成一个团，不同表情的团之间有明显间隔。SVM 在这个维度上训练非常快，因为每个样本只需算 6 维向量。

需要特别强调的是：LDA 变换矩阵是基于训练数据拟合出来的，测试阶段必须用同一个训练好的pca.transform和lda.transform，绝对不能用测试数据重算 PCA，否则会直接泄露测试集信息，导致评估分数虚高。源码包里那 6 个模型文件，存储的正是这一整套变换矩阵和 SVM 模型参数。

4. SVM 分类与 libSVM 多线程：核函数、C 参数和训练落地

4.1 为什么降维到 6 维还要用 RBF 核

经过 LDA 之后，数据已经接近线性可分，但表情边界在真实图像上总会有非线性。RBF 核函数把样本映射到无穷维空间，在低维空间里计算两个样本的高斯距离，实际效果是允许分类边界在局部弯曲。它的表达式是 K(x, z) = exp(-gamma * ||x - z||²)，gamma 控制单个样本的影响半径，C 控制对误分类样本的惩罚强度。

gamma 默认值是 1/特征维度。这里有个很多人不知道的坑：如果用 LDA 降到 6 维，默认 gamma = 1/6 ≈ 0.167，这个值不一定差，但绝不代表最优。RBF 核在 gamma 过大时每个样本只管自己附近的一小块区域，模型严重过拟合；gamma 过小时所有样本都长得像同一个点，模型欠拟合。所以调参的核心就是找到让交叉验证分数最高的那一对 C 和 gamma。

4.2 libSVM 训练命令与参数对照

源码包里带了svm-train.exe、svm-predict.exe、svm-scale.exe，说明原项目在 Windows 下直接跑过命令行训练。libSVM 原始版本的单线程训练在数据量大时很慢，尤其是核矩阵计算那一步；重新编译后的多线程版本把核函数计算和内核缓存填充并行化了，训练速度提升明显。libSVM 训练命令格式如下：

svm-scale.exe -l -1 -u 1 train.txt > train_scale.txt svm-train.exe -s 0 -t 2 -c 8 -g 0.05 -v 5 train_scale.txt model.txt

第一条命令把特征缩放到 [-1, 1] 区间，这对 SVM 非常关键。第二条命令训练模型：-s 0表示 C-SVC 分类器；-t 2表示 RBF 核；-c 8是惩罚系数；-g 0.05是 RBF 核的 gamma；-v 5表示做 5 折交叉验证并打印准确率，此时不会生成模型文件，只用来评估参数。

要注意-v和生成模型是互斥的：带上-v交叉验证结束后直接退出，不写模型；去掉-v才真正产出model.txt。所以正确流程是先带-v试参数，确定最优 C 和 gamma 之后，去掉-v训练最终模型。参数对照表记一下短，后面排查问题会经常用到：

4.3 Python 调用 libSVM 完成训练与预测

如果不想脱离 Python 跑命令行，libSVM 官方提供 Python 接口svmutil。源码包里那些.pyc编译文件和libsvm.dll就是为这个准备的。训练脚本长这样：

from svmutil import svm_train, svm_predict, svm_read_problem # libsvm 格式: 标签 特征编号:特征值 特征编号:特征值 ... y_train, x_train = svm_read_problem("train_scale.txt") y_test, x_test = svm_read_problem("test_scale.txt") # 训练 RBF 核模型, 参数和命令行版本完全一致 model = svm_train(y_train, x_train, "-s 0 -t 2 -c 8 -g 0.05") # 预测并返回准确率 p_label, p_acc, p_val = svm_predict(y_test, x_test, model) print("ACC:", p_acc) # p_acc[0] 是准确率百分比

这段代码的关键在于 libSVM 的数据格式是“索引从 1 开始的稀疏字典”，和 sklearn 的稠密数组完全不同。svm_read_problem会自动解析 libsvm 文本格式，所以训练前必须把 Gabor 特征转成 libsvm 格式文件。转换时注意：特征编号从 1 开始，不是 0；稀疏向量里值为 0 的维度可以省略，文件会小很多。

如果你拿到的是 sklearn 风格代码，也可以直接用sklearn.svm.SVC(kernel='rbf', C=8, gamma=0.05)，效果等价，但训练速度会比重新编译的多线程 libSVM 慢，且不支持流式读取大规模数据。原项目既然带了 libSVM 的可执行文件和 DLL，走svmutil是更贴近源码的路线。

4.4 网格搜索找 C 和 gamma，避免手撸玄学

C 和 gamma 的配对是纯玄学，靠猜不靠谱。常见做法是在对数尺度上网格搜索：C 取 2^-2 到 2^7 共 10 档，gamma 取 2^-8 到 2^-1 共 8 档，两两组合后用 5 折交叉验证评估。对 6 维特征、几百个样本来说，这个网格 80 组全部跑完也只需要几秒到几十秒。

from itertools import product best_acc = 0 best_param = None for c_pow, g_pow in product(range(-2, 8), range(-8, -1)): c = 2 ** c_pow g = 2 ** g_pow acc = svm_train(y_train, x_train, f"-s 0 -t 2 -c {c} -g {g} -v 5")[0] if acc >= best_acc: best_acc = acc best_param = (c, g) print("best acc:", best_acc, "C:", best_param[0], "gamma:", best_param[1])

逻辑说明：svm_train返回的是元组，第一项是交叉验证准确率。每次网格搜索都完整跑一遍 5 折验证，取分数最高的一组参数作为最终训练参数。注意准确性优先而不是盲目追求更高的 C，C 超过 128 后过拟合风险迅速上升，测试集分数通常不升反降。网格搜索结束后用最优参数重新训练一次不带-v的模型，那才是要保存的版本。

5. 部署与调优避坑排查：从 DLL 问题到训练测试信息泄漏

5.1 运行环境里最容易拦路的三个编译期问题

拿到源码后第一件事不是看代码，而是确认运行环境。这个项目里有libsvm.dll、svm-train.exe等可执行文件，最常见的拦路问题有三个。

第一个是 Python 位数和 DLL 不匹配。如果 DLL 是 32 位编译的，而你的 Python 是 64 位，import svmutil会直接报“不是有效的 Win32 应用程序”。解决办法是统一位数：要么装 32 位 Python，要么用 64 位工具链重新编译 libSVM。源码包里同时提供 exe 和 dll，大概率宿主环境是 64 位，建议直接用 64 位 Python 3.8 左右版本测试。

第二个是 Visual C++ 运行库缺失。libSVM 的 DLL 依赖 MSVC 运行时，系统里没有对应版本运行库时同样会导入失败。安装 Microsoft Visual C++ Redistributable 就能解决，不用重编源码。

第三个是路径含中文或空格。svm-train.exe在带中文目录的命令行下偶发编码问题，Python 调os.system时更容易踩。我一般习惯把所有素材和脚本放到纯英文路径下，比如D:/expression_recognition/下再操作。

5.2 五个切换到实战项目后的踩坑记录

踩坑一：训练准确率 99%，测试集准确率只有 60% 多。

现象是模型在训练集上表现近乎完美，在测试集上一落千丈。原因是做特征标准化时，把整个数据集一起fit了。我见过很多复现者把 PCA 或标准化放在所有数据上拟合，然后再划分训练测试，这等于测试集信息提前混进了训练过程。

解决方法是严格两步走：先在训练集上fitPCA 和标准化器，再对训练集和测试集分别transform。测试集任何环节都不能参与拟合，这条对我来说已经是铁律。

踩坑二：LDA 的 n_components 设成了 10，程序直接报错。

现象是LinearDiscriminantAnalysis抛错说n_components超过类别数减一。原因是不知道 LDA 的数学约束，以为维度越高保留信息越多。

解决办法是先用len(set(y_train))算出类别数，再设n_components = n_classes - 1。如果分类效果不理想，优先回去调 PCA 保留维度或 Gabor 参数，而不是强行调高 LDA 维度。

踩坑三：PyQt 界面点击“识别”按钮后窗口直接卡死。

现象是点击按钮 UI 冻结，几秒钟后才恢复。原因是预测过程放在了 GUI 主线程里，Gabor 滤波 + PCA + LDA + SVM 预测虽然总量不大，但滤波器组有几十个核，主线程被阻塞期间窗口无法重绘。

解决方法是把推理逻辑丢进QThread，只有拿到结果后再通过信号更新界面。源码里的 PyQt 部分如果没做这一步，运行时会很明显；改法不复杂，继承QThread重写run()即可。

踩坑四：特征没做归一化，SVM 准确率上下浮动特别大。

现象是同样的参数，两次训练结果差异明显。原因是 Gabor 滤波响应图重采样后数值范围较广，有的维度均值是几十，有的是几百，RBF 核的距离计算被大数值维度主导。

解决办法是在进 SVM 前做线性缩放到 [-1, 1] 或 [0, 1]，用svm-scale.exe或 sklearn 的MinMaxScaler都可以。归一化参数同样只能从训练集拟合。

踩坑五：Thumbs.db 这类系统文件混在数据集目录里，被当图片读进来。

现象是训练时读到某个文件直接cv2.imread返回 None，程序崩溃或不自知地跳过样本。原因是 Windows 下目录预览会产生Thumbs.db缓存文件，它不是图片。

解决办法是读取图片时统一检查扩展名白名单，并对img is None的情况做跳过处理。源码包里带了不少Thumbs.db，这是历史遗留，不影响运行，但千万别拿它们当数据。

6. 最后一关：用混淆矩阵与分组交叉验证判断模型真水平

6.1 混淆矩阵比准确率诚实得多

表情识别在类别不平衡时，准确率会骗人。假设“平静”类占 40%，模型把所有样本都预测成平静，准确率也有 40%，看起来不算太差但根本没用。混淆矩阵按行归一化之后，每一行代表一种真实表情被预测成了什么，能直观看到哪些类别容易混淆。

import matplotlib.pyplot as plt import numpy as np from sklearn.metrics import confusion_matrix matrix = confusion_matrix(y_true, y_pred) # 按行归一化, 每行代表真实类别的预测分布 matrix = matrix.astype(float) / matrix.sum(axis=1, keepdims=True) plt.imshow(matrix, cmap="Blues") plt.colorbar() plt.xlabel("Predicted Label") plt.ylabel("True Label") plt.show()

逻辑说明：matrix.sum(axis=1, keepdims=True)是每行真实样本总数，除以它得到的是百分比。观察误区的方式是找“偏离对角线的亮点”，比如“惊讶”被误判成“厌恶”，说明这两类在 Gabor 纹理上过于相似，可能需要增加滤波器方向档位，或者检查训练样本里这两类的数量是否失衡。

6.2 分组交叉验证：防止模型记住身份而不是表情

比普通交叉验证更严格的是分组交叉验证。如果同一个人的多张表情图同时出现在训练集和测试集，模型可能学到的其实是“这是哪个人”而不是“这是什么表情”，测试分数天然虚高。人脸数据几乎都这样，按 Identity 分组可以避免这个坑：

from sklearn.model_selection import GroupKFold, cross_val_score from sklearn.svm import SVC # group_ids: 每个样本对应的人脸 ID, 同一人有多个样本 # X_lda: 降维后的特征, y: 表情标签 model = SVC(kernel="rbf", C=8, gamma=0.05) gkf = GroupKFold(n_splits=5) scores = cross_val_score(model, X_lda, y, groups=group_ids, cv=gkf) print("group cross val acc: %.3f +- %.3f" % (scores.mean(), scores.std()))

这段代码把同一人的所有样本放在同一个折里，训练集和测试集完全按人隔离。分组交叉验证分数通常比普通交叉验证低 5～10 个百分点，这个差值就是“身份过拟合”的水分。从那以后，我每次做这类和人脸相关的项目都强制走一遍混淆矩阵和分组交叉验证，模型能不能上线先看这两个指标，准确率只在最后一步看，希望帮到你。

本文还有配套的精品资源，点击获取