简介这是一套面向高校学生与初学者的机器学习入侵检测系统完整项目源码适用于毕业设计、期末大作业与课程设计等场景帮助读者快速搭建可运行的网络流量异常检测方案。资源包共16个文件以py源码、xml配置、gz数据集及md说明文档为主其中Python脚本承担模型训练与检测主流程xml与iml文件用于IDE工程配置gz压缩包提供KDD99等训练数据整体约17.52MB目录结构清晰便于按模块阅读与二次修改。项目代码配有详细中文注释新手也能理解特征处理、模型构建与结果评估的完整链路并附有README说明与多份日志、备份文件方便对照调试与排错。目前已有237人学习下载适合希望以较低门槛掌握机器学习安全应用、并需要一份可直接部署参考实现的学生与开发者。1. 从一份课程设计源码说起机器学习入侵检测到底在做什么很多人第一次接触「基于机器学习的入侵检测系统」是在课程设计选题表上看到这个题目觉得高大上真拿到一份 Python 源码却不知道从哪读起。我带的几个做课程设计的学生最常见的翻车现场是把 KDD Cup 99 数据集读进来随手train_test_split跑出一个 99% 的准确率然后答辩时被老师一句「你这个 99% 是怎么来的误报率多少」问得哑口无言。入侵检测系统IDS本质上是一个二分类甚至多分类问题把网络流量或主机日志的每一条记录判断成正常还是某种攻击。它和普通分类任务最大的区别在于类别极度不平衡、误报代价高、攻击类型会演化。这份源码要解决的就是用 Python 把原始流量特征喂给机器学习模型训练出一个能区分正常流量和攻击流量的分类器并给出可解释的评估指标。适合谁正在做课程设计、想快速跑通一条完整链路的学生以及想从零搭一个 IDS 原型、验证某个特征工程想法的安全方向从业者。下面我按「数据怎么来 → 特征怎么处理 → 模型怎么选 → 怎么评估 → 坑在哪」把这条链路讲透。2. 数据与特征工程IDS 模型的地基怎么打2.1 为什么 NSL-KDD 是绕不开的起点做入侵检测数据集选择直接决定你后面所有工作的上限。学术界最常用的三个是 KDD Cup 99、NSL-KDD 和 UNSW-NB15。KDD Cup 99 太老有大量重复记录模型会「背答案」所以现在课程设计里更推荐用 NSL-KDD——它去掉了训练集里的冗余记录测试集里还故意混入了训练时没见过的攻击类型能真实反映模型的泛化能力。UNSW-NB15 更现代特征更贴近真实流量但数据量和对齐工作量大一些。我一般建议课程设计用 NSL-KDD 起步理由是文件结构清晰KDDTrain.txt和KDDTest.txt41 个特征加 1 个标签列标签里既有具体的攻击名neptune、smurf、portsweep等也有粗粒度的类别normal、dos、probe、r2l、u2r。粗粒度五分类是课程设计最稳的设定因为u2r和r2l样本极少细分类会让某些类直接没有召回。读数据这一步看着简单但列名缺失是第一个坑。NSL-KDD 的 txt 文件没有表头你得自己按官方文档补上 43 列列名否则后面做特征筛选时根本不知道哪列是什么。import pandas as pd # NSL-KDD 官方 43 列列名前 41 个是特征第 42 列是 label第 43 列是 difficulty col_names [ duration,protocol_type,service,flag,src_bytes,dst_bytes,land, wrong_fragment,urgent,hot,num_failed_logins,logged_in, num_compromised,root_shell,su_attempted,num_root,num_file_creations, num_shells,num_access_files,num_outbound_cmds,is_host_login, is_guest_login,count,srv_count,serror_rate,srv_serror_rate, rerror_rate,srv_rerror_rate,same_srv_rate,diff_srv_rate, srv_diff_host_rate,dst_host_count,dst_host_srv_count, dst_host_same_srv_rate,dst_host_diff_srv_rate,dst_host_same_src_port_rate, dst_host_srv_diff_host_rate,dst_host_serror_rate,dst_host_srv_serror_rate, dst_host_rerror_rate,dst_host_srv_rerror_rate,label,difficulty ] train pd.read_csv(KDDTrain.txt, namescol_names) test pd.read_csv(KDDTest.txt, namescol_names) print(train.shape, test.shape) # (125973, 43) (22544, 43)这段代码的关键点是列名顺序必须和官方文档一致错一列后面全乱。difficulty列在建模时要丢掉它只是数据集给的难度分级不是特征。2.2 类别特征编码one-hot 还是 label encoding41 个特征里有 3 个是字符串类别特征protocol_typetcp/udp/icmp、servicehttp、ftp、smtp 等 70 种、flagSF、S0 等 11 种。这三个必须转成数值。常见做法有两种Label Encoding把每个类别映射成一个整数。优点是维度低缺点是模型会误以为http3和ftp5之间有大小关系对树模型影响小对逻辑回归、SVM 影响大。One-Hot Encoding每个类别展开成一列 0/1。维度会涨到 120 多列但消除了虚假的序关系。我的经验是树模型随机森林、XGBoost用 Label Encoding 就够速度快线性模型和神经网络用 One-Hot。课程设计里如果只选一个用 One-Hot 更保险因为答辩老师看到你处理了类别特征会加分。from sklearn.preprocessing import OneHotEncoder import numpy as np cat_cols [protocol_type, service, flag] num_cols [c for c in col_names[:-2] if c not in cat_cols] # 训练集和测试集要一起 fit否则类别对不齐 full pd.concat([train[cat_cols], test[cat_cols]], axis0) enc OneHotEncoder(sparse_outputFalse, handle_unknownignore) enc.fit(full) train_cat enc.transform(train[cat_cols]) test_cat enc.transform(test[cat_cols]) X_train np.hstack([train[num_cols].values, train_cat]) X_test np.hstack([test[num_cols].values, test_cat])这里有个血泪经验handle_unknownignore一定要加。测试集里可能出现训练集没见过的service值不加这个参数会直接报错。另外fit要在训练集和测试集合并后的数据上做保证编码器见过所有类别否则测试集编码出来维度对不上。2.3 标签映射与类别不平衡处理原始标签有 20 多种具体攻击名要映射成 5 大类。映射表是固定的直接写死dos [back,land,neptune,pod,smurf,teardrop,apache2,udpstorm,processtable,worm] probe [satan,ipsweep,nmap,portsweep,mscan,saint] r2l [guess_passwd,ftp_write,imap,phf,multihop,warezmaster, warezclient,spy,xlock,xsnoop,snmpguess,snmpgetattack, httptunnel,sendmail,named] u2r [buffer_overflow,loadmodule,rootkit,perl,sqlattack,xterm,ps] def to_category(label): if label normal: return normal if label in dos: return dos if label in probe: return probe if label in r2l: return r2l if label in u2r: return u2r return normal y_train train[label].map(to_category) y_test test[label].map(to_category) print(y_train.value_counts())跑完你会看到normal有 6 万多条u2r只有 52 条比例超过 1000:1。这种不平衡直接训练模型会把所有样本都预测成normal准确率还有 50% 以上但召回率惨不忍睹。处理手段有三种class_weightbalanced最简单推荐、SMOTE 过采样对 u2r 这种极少类效果有限、以及分层采样。课程设计里我一般直接用class_weightbalanced一行代码解决不用引入 imbalanced-learn 额外依赖。3. 模型选型与训练从逻辑回归到 XGBoost 的取舍3.1 三个基线模型怎么选入侵检测不是越复杂的模型越好。课程设计里我建议至少跑三个模型做对比这样答辩时有话说模型优点缺点适用场景逻辑回归训练快、可解释、系数能看特征重要性对非线性关系拟合差基线、需要解释性随机森林抗过拟合、能处理高维、特征重要性直观模型大、推理慢通用首选XGBoost精度通常最高、支持类别权重调参复杂、依赖多追求指标逻辑回归在 NSL-KDD 上五分类大概能到 75% 准确率随机森林能到 80% 左右XGBoost 调好能到 82% 上下。注意这是五分类的准确率不是二分类。二分类正常 vs 攻击随机森林轻松上 90%但五分类才是真正体现模型能力的场景。3.2 随机森林的完整训练与参数含义from sklearn.ensemble import RandomForestClassifier from sklearn.metrics import classification_report, confusion_matrix rf RandomForestClassifier( n_estimators100, # 树的数量100 起步200 以上收益递减 max_depthNone, # 不限制深度让树自己长配合 min_samples_leaf 防过拟合 min_samples_leaf2, # 叶子最少 2 个样本防止对噪声过拟合 class_weightbalanced, # 自动按类别频率加权解决不平衡 n_jobs-1, # 用满所有 CPU 核 random_state42 # 固定随机种子保证结果可复现 ) rf.fit(X_train, y_train) y_pred rf.predict(X_test) print(classification_report(y_test, y_pred, digits4)) print(confusion_matrix(y_test, y_pred))n_estimators是最常调的参数从 100 加到 300 通常能涨 0.5 个点再加就没用了。min_samples_leaf是防过拟合的关键默认 1 会让树长得太细测试集上掉点。class_weightbalanced会自动把u2r的权重设成normal的几十倍让模型不敢忽略小类。random_state一定要固定否则每次跑结果都不一样答辩时说不清楚。3.3 特征重要性哪些特征真正在起作用训练完随机森林feature_importances_能直接告诉你哪些特征重要。NSL-KDD 上排名靠前的通常是src_bytes、dst_bytes、count、srv_count、dst_host_srv_count、same_srv_rate这几个。这符合直觉DoS 攻击往往表现为短时间内大量连接count高探测攻击表现为访问大量不同主机diff_srv_rate高。import matplotlib.pyplot as plt # 注意One-Hot 后特征名要重新拼这里只展示数值特征的重要性 importances rf.feature_importances_ idx np.argsort(importances)[::-1][:15] for i in idx: print(f{num_cols[i] if i len(num_cols) else onehot_str(i)}: {importances[i]:.4f})如果你发现某个 one-hot 特征重要性异常高比如service_http那要警惕——可能是数据集里 http 流量和某类攻击强相关模型学到了数据集的偏置而不是真实规律。这种情况在答辩时被问到要能解释清楚。3.4 用 XGBoost 再压一压指标from xgboost import XGBClassifier from sklearn.preprocessing import LabelEncoder le LabelEncoder() y_train_enc le.fit_transform(y_train) y_test_enc le.transform(y_test) xgb XGBClassifier( n_estimators200, max_depth6, # 树深6 是分类任务常用值太深过拟合 learning_rate0.1, # 学习率0.1 起步调小要配合增加树数 subsample0.8, # 每棵树用 80% 样本防过拟合 colsample_bytree0.8, # 每棵树用 80% 特征 eval_metricmlogloss, random_state42 ) xgb.fit(X_train, y_train_enc) print(classification_report(y_test_enc, xgb.predict(X_test), digits4))XGBoost 的max_depth和learning_rate是一对学习率调小到 0.05树数要加到 400 以上才能收敛训练时间翻倍。课程设计里 0.1 200 棵是性价比最高的组合。subsample和colsample_bytree都设 0.8 是经验值能明显降低过拟合。4. 评估指标与踩坑排查准确率骗了多少人4.1 为什么不能只看 accuracy前面说过u2r只有 52 条模型全预测成normal准确率也有 50% 以上。所以入侵检测必须看每个类的 precision / recall / f1尤其是攻击类的 recall。安全场景下漏报把攻击判成正常比误报更危险所以 recall 优先。classification_report会给你每个类的这三个指标重点看u2r和r2l的 recall如果低于 0.3 说明模型基本没学到这两类。还有一个指标是误报率False Positive Rate即正常流量被误判成攻击的比例。真实 IDS 部署中误报率超过 1% 运维就会被报警淹没。课程设计里可以算一下FP / (FP TN)。4.2 常见问题排查清单现象一测试集准确率远低于训练集差 20 个点以上。原因过拟合或者训练集和测试集分布差异大。NSL-KDD 的测试集故意包含训练集没有的攻击类型所以五分类掉点是正常的但掉太多就是模型问题。解决加min_samples_leaf、减max_depth、加subsample或者检查是不是把difficulty列也当特征喂进去了。现象二u2r类 recall 为 0。原因样本太少模型直接放弃这一类。解决class_weightbalanced是第一步如果还不行对u2r单独做 SMOTE 过采样或者干脆把五分类降成二分类正常 vs 攻击课程设计里二分类更容易出漂亮结果。现象三One-Hot 后训练报维度不匹配。原因训练集和测试集的service类别不一致编码器维度对不上。解决编码器必须在合并数据上fit并且加handle_unknownignore。这个坑我见过至少五个人踩。现象四每次跑结果都不一样答辩说不清。原因没固定random_state或者用了train_test_split但没设种子。解决所有涉及随机的环节模型初始化、数据划分、采样都设random_state42。现象五特征重要性里num_outbound_cmds排第一。原因这一列在 NSL-KDD 里全是 0是常数特征模型给它高重要性是噪声。解决训练前先删掉方差为 0 的列sklearn.feature_selection.VarianceThreshold一行搞定。提示答辩前一定要把混淆矩阵打印出来老师最爱问「你这个模型把哪类攻击误判成了哪类」有矩阵就能直接指。5. 从课程设计到能跑的原型三个进阶技巧课程设计跑通不难难的是让这套东西看起来不像「玩具」。我一般会加三个东西成本很低但效果立竿见影。第一把模型持久化做一个预测脚本。训练完用joblib.dump存模型和编码器再写一个predict.py读一条 CSV 记录就能输出预测类别和置信度。这样答辩演示时你可以现场喂一条数据比只放 PPT 有说服力。import joblib # 保存 joblib.dump(rf, ids_rf.pkl) joblib.dump(enc, ids_encoder.pkl) joblib.dump(num_cols, ids_num_cols.pkl) # 加载并预测单条 model joblib.load(ids_rf.pkl) encoder joblib.load(ids_encoder.pkl) cols joblib.load(ids_num_cols.pkl) def predict_one(record: dict): num_part np.array([[record[c] for c in cols]]) cat_part encoder.transform([[record[c] for c in [protocol_type,service,flag]]]) x np.hstack([num_part, cat_part]) proba model.predict_proba(x)[0] label model.classes_[proba.argmax()] return label, proba.max()joblib比pickle更适合存 sklearn 模型因为对 numpy 数组的序列化更快。注意编码器和列名要一起存否则加载后维度对不上。第二加一个简单的阈值调节。默认predict是取概率最大的类但安全场景下你可以手动调低攻击类的判定阈值牺牲一点误报换更低的漏报。比如正常类概率低于 0.6 就判成攻击这个逻辑在predict_proba基础上几行就能实现答辩时是个很好的加分点。第三用交叉验证代替单次划分。cross_val_score跑 5 折报告均值±标准差比单次train_test_split的结果可信得多。课程设计里如果时间够把 5 折的 f1 均值写进报告老师会觉得你懂统计。from sklearn.model_selection import cross_val_score scores cross_val_score(rf, X_train, y_train, cv5, scoringf1_macro, n_jobs-1) print(fF1-macro: {scores.mean():.4f} ± {scores.std():.4f})f1_macro对每个类一视同仁不会被normal的大样本带偏比accuracy更适合不平衡数据。5 折在 12 万条数据上大概跑几分钟可以接受。最后说个我自己的习惯每次改完特征工程或模型参数我都会把classification_report存成 txt文件名带上日期和参数比如report_rf_100tree_leaf2.txt。做课程设计那会儿没这个习惯改了三版之后分不清哪个结果是哪个配置跑的只能全部重跑那叫一个后悔。后来养成这个习惯调参效率至少翻倍。希望帮到你。本文还有配套的精品资源点击获取 基于机器学习的入侵检测系统：Python课程设计实战与避坑指南
简介这是一套面向高校学生与初学者的机器学习入侵检测系统完整项目源码适用于毕业设计、期末大作业与课程设计等场景帮助读者快速搭建可运行的网络流量异常检测方案。资源包共16个文件以py源码、xml配置、gz数据集及md说明文档为主其中Python脚本承担模型训练与检测主流程xml与iml文件用于IDE工程配置gz压缩包提供KDD99等训练数据整体约17.52MB目录结构清晰便于按模块阅读与二次修改。项目代码配有详细中文注释新手也能理解特征处理、模型构建与结果评估的完整链路并附有README说明与多份日志、备份文件方便对照调试与排错。目前已有237人学习下载适合希望以较低门槛掌握机器学习安全应用、并需要一份可直接部署参考实现的学生与开发者。1. 从一份课程设计源码说起机器学习入侵检测到底在做什么很多人第一次接触「基于机器学习的入侵检测系统」是在课程设计选题表上看到这个题目觉得高大上真拿到一份 Python 源码却不知道从哪读起。我带的几个做课程设计的学生最常见的翻车现场是把 KDD Cup 99 数据集读进来随手train_test_split跑出一个 99% 的准确率然后答辩时被老师一句「你这个 99% 是怎么来的误报率多少」问得哑口无言。入侵检测系统IDS本质上是一个二分类甚至多分类问题把网络流量或主机日志的每一条记录判断成正常还是某种攻击。它和普通分类任务最大的区别在于类别极度不平衡、误报代价高、攻击类型会演化。这份源码要解决的就是用 Python 把原始流量特征喂给机器学习模型训练出一个能区分正常流量和攻击流量的分类器并给出可解释的评估指标。适合谁正在做课程设计、想快速跑通一条完整链路的学生以及想从零搭一个 IDS 原型、验证某个特征工程想法的安全方向从业者。下面我按「数据怎么来 → 特征怎么处理 → 模型怎么选 → 怎么评估 → 坑在哪」把这条链路讲透。2. 数据与特征工程IDS 模型的地基怎么打2.1 为什么 NSL-KDD 是绕不开的起点做入侵检测数据集选择直接决定你后面所有工作的上限。学术界最常用的三个是 KDD Cup 99、NSL-KDD 和 UNSW-NB15。KDD Cup 99 太老有大量重复记录模型会「背答案」所以现在课程设计里更推荐用 NSL-KDD——它去掉了训练集里的冗余记录测试集里还故意混入了训练时没见过的攻击类型能真实反映模型的泛化能力。UNSW-NB15 更现代特征更贴近真实流量但数据量和对齐工作量大一些。我一般建议课程设计用 NSL-KDD 起步理由是文件结构清晰KDDTrain.txt和KDDTest.txt41 个特征加 1 个标签列标签里既有具体的攻击名neptune、smurf、portsweep等也有粗粒度的类别normal、dos、probe、r2l、u2r。粗粒度五分类是课程设计最稳的设定因为u2r和r2l样本极少细分类会让某些类直接没有召回。读数据这一步看着简单但列名缺失是第一个坑。NSL-KDD 的 txt 文件没有表头你得自己按官方文档补上 43 列列名否则后面做特征筛选时根本不知道哪列是什么。import pandas as pd # NSL-KDD 官方 43 列列名前 41 个是特征第 42 列是 label第 43 列是 difficulty col_names [ duration,protocol_type,service,flag,src_bytes,dst_bytes,land, wrong_fragment,urgent,hot,num_failed_logins,logged_in, num_compromised,root_shell,su_attempted,num_root,num_file_creations, num_shells,num_access_files,num_outbound_cmds,is_host_login, is_guest_login,count,srv_count,serror_rate,srv_serror_rate, rerror_rate,srv_rerror_rate,same_srv_rate,diff_srv_rate, srv_diff_host_rate,dst_host_count,dst_host_srv_count, dst_host_same_srv_rate,dst_host_diff_srv_rate,dst_host_same_src_port_rate, dst_host_srv_diff_host_rate,dst_host_serror_rate,dst_host_srv_serror_rate, dst_host_rerror_rate,dst_host_srv_rerror_rate,label,difficulty ] train pd.read_csv(KDDTrain.txt, namescol_names) test pd.read_csv(KDDTest.txt, namescol_names) print(train.shape, test.shape) # (125973, 43) (22544, 43)这段代码的关键点是列名顺序必须和官方文档一致错一列后面全乱。difficulty列在建模时要丢掉它只是数据集给的难度分级不是特征。2.2 类别特征编码one-hot 还是 label encoding41 个特征里有 3 个是字符串类别特征protocol_typetcp/udp/icmp、servicehttp、ftp、smtp 等 70 种、flagSF、S0 等 11 种。这三个必须转成数值。常见做法有两种Label Encoding把每个类别映射成一个整数。优点是维度低缺点是模型会误以为http3和ftp5之间有大小关系对树模型影响小对逻辑回归、SVM 影响大。One-Hot Encoding每个类别展开成一列 0/1。维度会涨到 120 多列但消除了虚假的序关系。我的经验是树模型随机森林、XGBoost用 Label Encoding 就够速度快线性模型和神经网络用 One-Hot。课程设计里如果只选一个用 One-Hot 更保险因为答辩老师看到你处理了类别特征会加分。from sklearn.preprocessing import OneHotEncoder import numpy as np cat_cols [protocol_type, service, flag] num_cols [c for c in col_names[:-2] if c not in cat_cols] # 训练集和测试集要一起 fit否则类别对不齐 full pd.concat([train[cat_cols], test[cat_cols]], axis0) enc OneHotEncoder(sparse_outputFalse, handle_unknownignore) enc.fit(full) train_cat enc.transform(train[cat_cols]) test_cat enc.transform(test[cat_cols]) X_train np.hstack([train[num_cols].values, train_cat]) X_test np.hstack([test[num_cols].values, test_cat])这里有个血泪经验handle_unknownignore一定要加。测试集里可能出现训练集没见过的service值不加这个参数会直接报错。另外fit要在训练集和测试集合并后的数据上做保证编码器见过所有类别否则测试集编码出来维度对不上。2.3 标签映射与类别不平衡处理原始标签有 20 多种具体攻击名要映射成 5 大类。映射表是固定的直接写死dos [back,land,neptune,pod,smurf,teardrop,apache2,udpstorm,processtable,worm] probe [satan,ipsweep,nmap,portsweep,mscan,saint] r2l [guess_passwd,ftp_write,imap,phf,multihop,warezmaster, warezclient,spy,xlock,xsnoop,snmpguess,snmpgetattack, httptunnel,sendmail,named] u2r [buffer_overflow,loadmodule,rootkit,perl,sqlattack,xterm,ps] def to_category(label): if label normal: return normal if label in dos: return dos if label in probe: return probe if label in r2l: return r2l if label in u2r: return u2r return normal y_train train[label].map(to_category) y_test test[label].map(to_category) print(y_train.value_counts())跑完你会看到normal有 6 万多条u2r只有 52 条比例超过 1000:1。这种不平衡直接训练模型会把所有样本都预测成normal准确率还有 50% 以上但召回率惨不忍睹。处理手段有三种class_weightbalanced最简单推荐、SMOTE 过采样对 u2r 这种极少类效果有限、以及分层采样。课程设计里我一般直接用class_weightbalanced一行代码解决不用引入 imbalanced-learn 额外依赖。3. 模型选型与训练从逻辑回归到 XGBoost 的取舍3.1 三个基线模型怎么选入侵检测不是越复杂的模型越好。课程设计里我建议至少跑三个模型做对比这样答辩时有话说模型优点缺点适用场景逻辑回归训练快、可解释、系数能看特征重要性对非线性关系拟合差基线、需要解释性随机森林抗过拟合、能处理高维、特征重要性直观模型大、推理慢通用首选XGBoost精度通常最高、支持类别权重调参复杂、依赖多追求指标逻辑回归在 NSL-KDD 上五分类大概能到 75% 准确率随机森林能到 80% 左右XGBoost 调好能到 82% 上下。注意这是五分类的准确率不是二分类。二分类正常 vs 攻击随机森林轻松上 90%但五分类才是真正体现模型能力的场景。3.2 随机森林的完整训练与参数含义from sklearn.ensemble import RandomForestClassifier from sklearn.metrics import classification_report, confusion_matrix rf RandomForestClassifier( n_estimators100, # 树的数量100 起步200 以上收益递减 max_depthNone, # 不限制深度让树自己长配合 min_samples_leaf 防过拟合 min_samples_leaf2, # 叶子最少 2 个样本防止对噪声过拟合 class_weightbalanced, # 自动按类别频率加权解决不平衡 n_jobs-1, # 用满所有 CPU 核 random_state42 # 固定随机种子保证结果可复现 ) rf.fit(X_train, y_train) y_pred rf.predict(X_test) print(classification_report(y_test, y_pred, digits4)) print(confusion_matrix(y_test, y_pred))n_estimators是最常调的参数从 100 加到 300 通常能涨 0.5 个点再加就没用了。min_samples_leaf是防过拟合的关键默认 1 会让树长得太细测试集上掉点。class_weightbalanced会自动把u2r的权重设成normal的几十倍让模型不敢忽略小类。random_state一定要固定否则每次跑结果都不一样答辩时说不清楚。3.3 特征重要性哪些特征真正在起作用训练完随机森林feature_importances_能直接告诉你哪些特征重要。NSL-KDD 上排名靠前的通常是src_bytes、dst_bytes、count、srv_count、dst_host_srv_count、same_srv_rate这几个。这符合直觉DoS 攻击往往表现为短时间内大量连接count高探测攻击表现为访问大量不同主机diff_srv_rate高。import matplotlib.pyplot as plt # 注意One-Hot 后特征名要重新拼这里只展示数值特征的重要性 importances rf.feature_importances_ idx np.argsort(importances)[::-1][:15] for i in idx: print(f{num_cols[i] if i len(num_cols) else onehot_str(i)}: {importances[i]:.4f})如果你发现某个 one-hot 特征重要性异常高比如service_http那要警惕——可能是数据集里 http 流量和某类攻击强相关模型学到了数据集的偏置而不是真实规律。这种情况在答辩时被问到要能解释清楚。3.4 用 XGBoost 再压一压指标from xgboost import XGBClassifier from sklearn.preprocessing import LabelEncoder le LabelEncoder() y_train_enc le.fit_transform(y_train) y_test_enc le.transform(y_test) xgb XGBClassifier( n_estimators200, max_depth6, # 树深6 是分类任务常用值太深过拟合 learning_rate0.1, # 学习率0.1 起步调小要配合增加树数 subsample0.8, # 每棵树用 80% 样本防过拟合 colsample_bytree0.8, # 每棵树用 80% 特征 eval_metricmlogloss, random_state42 ) xgb.fit(X_train, y_train_enc) print(classification_report(y_test_enc, xgb.predict(X_test), digits4))XGBoost 的max_depth和learning_rate是一对学习率调小到 0.05树数要加到 400 以上才能收敛训练时间翻倍。课程设计里 0.1 200 棵是性价比最高的组合。subsample和colsample_bytree都设 0.8 是经验值能明显降低过拟合。4. 评估指标与踩坑排查准确率骗了多少人4.1 为什么不能只看 accuracy前面说过u2r只有 52 条模型全预测成normal准确率也有 50% 以上。所以入侵检测必须看每个类的 precision / recall / f1尤其是攻击类的 recall。安全场景下漏报把攻击判成正常比误报更危险所以 recall 优先。classification_report会给你每个类的这三个指标重点看u2r和r2l的 recall如果低于 0.3 说明模型基本没学到这两类。还有一个指标是误报率False Positive Rate即正常流量被误判成攻击的比例。真实 IDS 部署中误报率超过 1% 运维就会被报警淹没。课程设计里可以算一下FP / (FP TN)。4.2 常见问题排查清单现象一测试集准确率远低于训练集差 20 个点以上。原因过拟合或者训练集和测试集分布差异大。NSL-KDD 的测试集故意包含训练集没有的攻击类型所以五分类掉点是正常的但掉太多就是模型问题。解决加min_samples_leaf、减max_depth、加subsample或者检查是不是把difficulty列也当特征喂进去了。现象二u2r类 recall 为 0。原因样本太少模型直接放弃这一类。解决class_weightbalanced是第一步如果还不行对u2r单独做 SMOTE 过采样或者干脆把五分类降成二分类正常 vs 攻击课程设计里二分类更容易出漂亮结果。现象三One-Hot 后训练报维度不匹配。原因训练集和测试集的service类别不一致编码器维度对不上。解决编码器必须在合并数据上fit并且加handle_unknownignore。这个坑我见过至少五个人踩。现象四每次跑结果都不一样答辩说不清。原因没固定random_state或者用了train_test_split但没设种子。解决所有涉及随机的环节模型初始化、数据划分、采样都设random_state42。现象五特征重要性里num_outbound_cmds排第一。原因这一列在 NSL-KDD 里全是 0是常数特征模型给它高重要性是噪声。解决训练前先删掉方差为 0 的列sklearn.feature_selection.VarianceThreshold一行搞定。提示答辩前一定要把混淆矩阵打印出来老师最爱问「你这个模型把哪类攻击误判成了哪类」有矩阵就能直接指。5. 从课程设计到能跑的原型三个进阶技巧课程设计跑通不难难的是让这套东西看起来不像「玩具」。我一般会加三个东西成本很低但效果立竿见影。第一把模型持久化做一个预测脚本。训练完用joblib.dump存模型和编码器再写一个predict.py读一条 CSV 记录就能输出预测类别和置信度。这样答辩演示时你可以现场喂一条数据比只放 PPT 有说服力。import joblib # 保存 joblib.dump(rf, ids_rf.pkl) joblib.dump(enc, ids_encoder.pkl) joblib.dump(num_cols, ids_num_cols.pkl) # 加载并预测单条 model joblib.load(ids_rf.pkl) encoder joblib.load(ids_encoder.pkl) cols joblib.load(ids_num_cols.pkl) def predict_one(record: dict): num_part np.array([[record[c] for c in cols]]) cat_part encoder.transform([[record[c] for c in [protocol_type,service,flag]]]) x np.hstack([num_part, cat_part]) proba model.predict_proba(x)[0] label model.classes_[proba.argmax()] return label, proba.max()joblib比pickle更适合存 sklearn 模型因为对 numpy 数组的序列化更快。注意编码器和列名要一起存否则加载后维度对不上。第二加一个简单的阈值调节。默认predict是取概率最大的类但安全场景下你可以手动调低攻击类的判定阈值牺牲一点误报换更低的漏报。比如正常类概率低于 0.6 就判成攻击这个逻辑在predict_proba基础上几行就能实现答辩时是个很好的加分点。第三用交叉验证代替单次划分。cross_val_score跑 5 折报告均值±标准差比单次train_test_split的结果可信得多。课程设计里如果时间够把 5 折的 f1 均值写进报告老师会觉得你懂统计。from sklearn.model_selection import cross_val_score scores cross_val_score(rf, X_train, y_train, cv5, scoringf1_macro, n_jobs-1) print(fF1-macro: {scores.mean():.4f} ± {scores.std():.4f})f1_macro对每个类一视同仁不会被normal的大样本带偏比accuracy更适合不平衡数据。5 折在 12 万条数据上大概跑几分钟可以接受。最后说个我自己的习惯每次改完特征工程或模型参数我都会把classification_report存成 txt文件名带上日期和参数比如report_rf_100tree_leaf2.txt。做课程设计那会儿没这个习惯改了三版之后分不清哪个结果是哪个配置跑的只能全部重跑那叫一个后悔。后来养成这个习惯调参效率至少翻倍。希望帮到你。本文还有配套的精品资源点击获取