前言上篇文章使用EvalScope完成了从单一数据集单项能力评测到多数据集综合评测再到自定义数据集领域评测的完整实战。至此本专栏的工具篇正式收官——从训练流程总览、OCR 与 EasyDataset 的数据获取处理到 LLaMAFactory 的使用、参数详解与调优再到评测方法与实战演练大家手中已经集齐了大模型训练全链路的“武器库”。武器既已备足接下来便要在真正的战场上接受检验。从本篇开始本专栏正式迈入实战篇笔者将带领大家把前面学到的每一件工具按照“数据获取 → 数据处理 → 预训练 → 微调 → 强化学习 → 评测”的标准流程串联起来亲手训练一个面向网络安全领域的垂直大模型。为什么选择网络安全这个方向原因有两点都极具现实意义第一安全赛道是大模型落地见效最快的“高地”之一。Claude Mythos 在逆向分析、漏洞挖掘等任务上展现出的惊人能力让网络安全成为各大模型厂商竞相角逐的焦点领域。可以说谁在安全能力上率先突破谁就掌握了大模型深度赋能的主动权。第二小参数模型同样大有可为并非只有巨量参数才能出彩。已有研究论文《VulnLLM-R: Specialized Reasoning LLM with Agent Scaffold for Vulnerability Detection》 证明通过精心整理数据微调得到的 7B 规模模型在漏洞检测任务上同样取得了不俗的效果。这说明不依赖千亿级参数走“精耕细作”的小模型路线同样行得通对于资源有限但又想在面试和简历中打造亮点的同学来说无疑是一条务实且高价值的路径。训练垂直领域模型第一步永远是数据。本期内容笔者只聚焦一件事系统梳理网络安全大模型预训练所需的数据来源清单针对每一类数据给出具体获取渠道和可执行的采集示例为后续的预处理和训练打下坚实的地基。一、数据来源清单网络安全大模型的“教材”从哪里找笔者在《大模型训练全流程实战指南工具篇五——大模型训练全流程步骤详解与对应工具推荐》中曾强调数据工程的第一步是文本采集。但要训练出一个专业性强、效果好的大模型光会采集还不够对目标领域的知识体系和数据分布有足够深刻的认知才是数据工作的真正门槛。网络安全领域的数据有一个鲜明特点分散、异构、时效性强。论文存在于学术库中标准挂在官网上漏洞沉淀在数据库里而最鲜活的实战经验则散落在各个技术社区和厂商报告中。想训练出一个真正“懂安全”的大模型以下几类渠道最好一个都不要少。1.1 电子书籍系统化的知识底座一本优质的网络安全专著往往能够将一个方向的知识体系从头到尾讲透其内容的系统性、连贯性和深度是碎片化的博客文章难以比拟的。对于大模型而言书籍类语料结构清晰、逻辑严密有助于模型建立结构化的知识框架是数据采集中质量最高的类别之一。早在 2024 年Anthropic 曾斥资数千万美元购买实体书籍用于训练甚至为此专门建立数据工厂负责收集和扫描处理涉及版权侵权。这一消息一度冲上热搜也从侧面印证了书籍语料在高质量模型训练中的分量。但采集语料时不能只盯着网络安全专著。网络安全知识并非空中楼阁它与计算机网络、操作系统、编程语言等基础学科紧密交织。因此除了专业安全书籍计算机网络、操作系统、体系结构等基础教材同样不可或缺。具体来源推荐以下三类安全专业书籍国内如吴翰清的《白帽子讲Web安全》系统讲解 Web 安全的攻防原理是中文安全领域的入门经典国外如The Web Application Hacker’s Handbook《Web应用黑客手册》被誉为 Web 渗透的“圣经”覆盖从信息收集到各类漏洞利用的完整知识体系。网络基础书籍谢希仁的《计算机网络》是国内高校的标准教材讲解清晰、语言平实Tanenbaum 的《计算机网络》和 Stevens 的《TCP/IP 详解 卷1》则是国际公认的经典后者结合真实抓包讲解协议与安全攻防场景天然契合。计算机基础书籍CSAPP《深入理解计算机系统》详细介绍了程序、内存与并发的底层原理Silberschatz 的《操作系统概念》“恐龙书”对进程、内存与文件系统的讲解也堪称经典。在书籍语料采集中有一点要特别强调贵精不贵多关键在于书籍的结构合理性与权威性。一本好书的章节结构本身就是一张高质量的知识图谱——目录层次清晰、知识点由浅入深解析成 Markdown 后天然保留着良好的层级结构后续分块、蒸馏的效果都会更好反之劣质书内容东拼西凑、术语前后不一喂给模型等同于教它错误知识后续清洗也难以挽回。笔者在日常工作中一般按照以下标准来筛选书籍看作者与出版社人邮、机械工业、电子工业、O’Reilly 等权威出版社的经典系列普遍靠谱作者在该领域有实际工程或学术积累者优先。看版本与口碑优先选择多次再版的经典避开“21天速成”式的拼凑之作豆瓣评分、高校教材采用情况都是不错的参考依据。试读目录与一章正文结构清晰、术语规范、图表严谨的才值得正式入库。特别提醒书籍受版权保护个人练手使用通常问题不大但若模型计划商用务必留意授权范围是否明确允许将内容用于模型训练。1.2 学术论文与安全会议论文集打牢前沿基础学术论文是另一类不可替代的核心语料。论文语料的价值主要体现在如下几个方面原理基础让模型理解攻击与防御背后的为什么——缓冲区溢出为什么发生、侧信道如何工作、联邦学习下的投毒攻击怎么防御数据支撑的可信性论文经过同行评审有实验数据和量化评估背书是安全语料中可信度最高的一类。社区博客多是经验之谈而论文里的结论是测出来的模型从这类文本中学到的表述更严谨、更少幻觉前沿时效性arXiv 预印本和顶会论文代表领域最新动向。像大模型安全攻防、人工智能驱动的漏洞挖掘、大模型越狱攻击这些近两年才火起来的方向只有论文能第一时间覆盖笔者在工作中主要从以下两个渠道获取论文语料arXiv 的 cs.CR密码学与安全板块预印本论文的主阵地更新快且提供免费的检索 API是批量采集的首选。四大安全顶会论文集IEEE SP、USENIX Security、ACM CCS、NDSS。下面以 arXiv 的论文获取为例进行演示。假设笔者想要查找 arXiv 中计算机科学领域与log4j相关的安全论文可以使用以下代码检索并获取论文元信息# arxiv_search.py检索 arXiv cs.CR 板块的安全论文importurllib.requestimporturllib.parseimportxml.etree.ElementTreeasET queryurllib.parse.quote(cat:cs.CR AND all:log4j)url(fhttp://export.arxiv.org/api/query?search_query{query}fstart0max_results2)# 这里的max_results等可以调节查询数量requrllib.request.Request(url,headers{User-Agent:Mozilla/5.0})withurllib.request.urlopen(req,timeout30)asresp:rootET.fromstring(resp.read())ns{a:http://www.w3.org/2005/Atom}forentryinroot.findall(a:entry,ns):# id 形如 http://arxiv.org/abs/2501.17760v1从中提取论文 IDraw_identry.find(a:id,ns).text.strip()arxiv_idraw_id.split(/abs/)[-1]titleentry.find(a:title,ns).text.strip().replace(\n, )summaryentry.find(a:summary,ns).text.strip().replace(\n, )print(论文ID:,arxiv_id)print(标题:,title)print(摘要:,summary[:80],...)print(PDF下载链接: https://arxiv.org/pdf/arxiv_id)print(---)执行结果如下大家可以根据输出的 PDF 下载链接直接获取对应论文1.3 NIST、MITRE等标准与框架 权威规范知识源如果说论文教模型“前沿知识”和“为什么”那么标准框架就教模型“怎么做才规范”。网络安全行业高度依赖标准化知识体系这部分语料直接决定了模型在专业场景下输出的规范性、合规性与可信度。下面列举两个最权威的来源NIST SP 800 系列覆盖风险管理、事件响应、密码学应用等方方面面。例如 SP 800-61《计算机安全事件处理指南》就是应急响应场景的必读材料官网可免费下载 PDF。MITRE ATTCK堪称安全领域的“知识图谱”。它把攻击手法按战术、技术、子技术进行结构化组织并附有真实案例与缓解措施且提供官方 STIX 格式的 JSON 全量下载。每条攻击技术就是一个完整的结构化对象。以 MITRE ATTCK 为例一条攻击技术的 JSON 表示如下{type:attack-pattern,name:Phishing: Spearphishing Attachment,description:Adversaries may send spearphishing emails with a malicious attachment...,kill_chain_phases:[{phase_name:initial-access}]}实际采集时只需将name、description与缓解措施等字段拼装成自然语言段落即可得到高质量的语料。1.4 CVE、CWE 等漏洞缺陷数据库 漏洞与缺陷数据的不二法则漏洞知识是网络安全大模型区别于通用模型的核心竞争力之一。在日常使用场景中用户经常会问“这个代码会触发哪个 CVE 漏洞”“这个漏洞该如何修复”面对这类问题模型必须给出准确、规范的答案。先来看CVE 官方库。CVE 是漏洞编号的全球标准由 MITRE 维护每条记录包含漏洞标题、描述、受影响产品与参考链接。官方提供免费的 REST API按编号即可查询完整记录无需鉴权。下面是一段根据 CVE ID 查询漏洞详情的脚本# cve_search.py通过 CVE 官方 API 查询单条漏洞记录importjsonimporturllib.request CVE_IDCVE-2021-44228urlfhttps://cveawg.mitre.org/api/cve/{CVE_ID}requrllib.request.Request(url,headers{User-Agent:Mozilla/5.0})withurllib.request.urlopen(req,timeout30)asresp:datajson.load(resp)cnadata[containers][cna]descnext((d[value]fordincna[descriptions]ifd[lang].startswith(en)),)affectedcna[affected][0]print(编号:,data[cveMetadata][cveId])print(标题:,cna.get(title,))print(厂商/产品:,affected[vendor],/,affected[product])print(描述:,desc[:100],...)执行结果如下拿到结构化的字段后可以借助大模型将其转化为自然语言描述例如“CVE-2021-44228 是 Apache Log4j2 中的 JNDI 注入漏洞攻击者可远程未授权利用建议升级至 2.17.1 以上版本。”这样一来结构化的漏洞数据就能快速转化为模型易于学习的可读语料。单条 API 查询无法满足大规模采集需求大家也可以在 GitHub 上查找 CVE 官方维护的全量镜像仓库例如CVEProject/cvelistV5克隆后可按年份、厂商等维度筛选所需数据实现按年份等筛选条件的批量获取。除了 CVECWE 库同样是不可或缺的漏洞知识来源。两者的关系可以这样理解CVE 记录的是“具体某个产品暴露了哪个漏洞”而 CWE 分类的是“漏洞属于哪一类缺陷”——缓冲区溢出、SQL 注入、越权访问……每条 CWE 都包含缺陷名称、详细描述、典型代码示例与缓解建议是让模型理解漏洞成因与代码层面防御的关键语料。# cwe_parse.py下载并解析 CWE 官方全量数据importurllib.requestimportzipfileimportioimportxml.etree.ElementTreeasET urlhttps://cwe.mitre.org/data/xml/cwec_latest.xml.ziprequrllib.request.Request(url,headers{User-Agent:Mozilla/5.0})withurllib.request.urlopen(req,timeout120)asresp:dataresp.read()withzipfile.ZipFile(io.BytesIO(data))aszf:name[nforninzf.namelist()ifn.endswith(.xml)][0]rootET.fromstring(zf.read(name))ns{c:http://cwe.mitre.org/cwe-7}weaknessesroot.find(c:Weaknesses,ns)forwinlist(weaknesses)[:3]:descw.find(c:Description,ns).text.strip().replace(\n, )print(fCWE-{w.get(ID)}|{w.get(Name)}|{desc[:60]}...)print(弱点总数:,len(weaknesses.findall(c:Weakness,ns)))执行结果如下近千条 CWE 缺陷定义每条都是“缺陷定义 代码示例 修复建议”的完整结构模板化后就是优质且成体系的漏洞成因语料。类似的还有Exploit-DB公开漏洞利用代码库它适合让模型理解“漏洞如何被实际利用”从而在防御场景中给出更具针对性的建议。1.5 技术社区与安全厂商博客鲜活的实战经验论文和标准解决知识但网络安全同样是实战驱动的行业——一次真实攻击事件的复盘价值可能超过十篇论文。这部分语料侧重实践性、时效性与案例细节。具体来源推荐两个中文安全社区FreeBuf、安全客、先知社区等聚集了大量漏洞分析、渗透技巧、事件复盘文章。例如 FreeBuf 上针对每次重大漏洞如 Log4Shell的技术分析文章都是很好的语料。安全厂商的威胁分析报告奇安信、360、微步在线等厂商会定期发布 APT 组织分析、年度安全报告例如奇安信每年发布的《网络安全威胁分析报告》内容详实、专业性强是高质量语料的重要来源。英文渠道可补充 Krebs on Security、Google Project Zero 博客等。需要提醒的是这部分数据量最大、噪声也最多转载重复、广告导流、标题党内容混杂其中是后续清洗环节的重点关照对象。下一篇内容会讲解完整的数据清洗步骤二、现成数据集获取站在技术和社区肩膀上上一节重点解决了“从哪些渠道采集原始语料”的问题覆盖了书籍、论文、标准、漏洞库和社区博客等来源。但数据采集不止一条路——除了从零开始爬取和整理还可以直接利用现成的、经过初步加工的高质量数据集大幅节省时间和人力成本。本节就聚焦两类最具实操价值的获取方式一是用大模型“蒸馏”出定制化数据集二是直接从开源社区取用现成资源。2.1 EasyDataset蒸馏数据用大模型造语料当前闭源模型和超大参数量的开源模型性能遥遥领先。虽然训练的小模型不可能在每一个维度上都追平大模型但借助模型蒸馏的思想可以让大模型把推理思路“浓缩”成高质量的数据集再让小模型通过拟合这些数据在特定任务上逼近大模型的效果。蒸馏技术在当前专业模型训练的数据集构造中已经占据了举足轻重的地位。一个广为人知的例子是李飞飞团队发表的论文《s1: Simple test-time scaling》——他们仅花费约 50 美元就基于通义千问 Qwen2.5-32B 微调出了一个在推理能力上比肩 ChatGPT o1 和 DeepSeek R1 的模型而微调所用的数据集中就有一部分正是蒸馏自 Google Gemini 2.0 Flash Thinking。笔者在 大模型训练全流程实战指南工具篇八——EasyDataset问答数据集生成流程 中介绍的EasyDataset工具就提供了数据蒸馏的功能。EasyDataset 的蒸馏原理并不复杂但设计很巧妙它既会考虑任务场景的全覆盖又会兼顾数据的多样性和平衡性。其核心机制是通过多级标签逐层构造完整的领域知识树再针对每个叶子标签自动生成问题与答案。下面以“渗透测试”场景为例演示完整的蒸馏操作流程第一步创建项目设定顶级主题在 EasyDataset 中创建一个新项目项目名称将作为蒸馏任务的顶级主题。假设要蒸馏渗透测试相关的数据集可以将项目命名为“Web安全攻防渗透测试实战指南”——这也是笔者常用的做法直接借用一本知名书籍的名称作为主题锚点并在项目描述中填入该书的完整目录让大模型在生成标签时有一个清晰的知识边界。第二步进入蒸馏模块配置生成参数进入项目后点击“数据蒸馏”模块选择“全自动蒸馏数据”。在配置界面中需要设定两个关键参数标签层级与每层标签数量层级越深生成的标签粒度越细覆盖的知识点也越具体。例如 2 层可能只覆盖“Web 安全 → SQL 注入”这样的粗粒度主题而 34 层则可以细化到“Web 安全 → SQL 注入 → 报错注入 → 报错函数利用”这样的细粒度知识单元。每个标签生成的问题数量决定最终数据集的规模。配置完成后右侧会实时预览预计生成的问题总数方便根据训练需求调整参数。第三步启动蒸馏实时跟踪进度点击“开始自动蒸馏”后界面会详细展示任务执行进度包括标签构建阶段、问题生成阶段和答案生成阶段各自的状态与完成条数方便你随时掌握任务进展。第四步可选手动精细化调整除了全自动蒸馏EasyDataset 也支持手动逐级生成标签——你可以先定义一级标签再逐层展开细化每一步都有人工介入把关。这种方式更适合对领域知识有清晰把控的场景大家可以按需探索。2.2 开源论文、社区现成数据集除了自行采集数据之外开源社区上更是有不少可以直接使用的安全数据资产Hugging Face / ModelScope 上的安全数据集搜索 “cybersecurity”、“安全” 等关键词可以找到安全问答对、漏洞检测代码等数据集。以笔者开头提到的论文 《VulnLLM-R: Specialized Reasoning LLM with Agent Scaffold for Vulnerability Detection》 为例该论文的数据集就发布在了huggingface上大家可以直观的看到数据的格式并拿来使用CTF 竞赛 Writeup各大 CTF 平台的赛后题解是极好的攻防实操语料笔者建议单独归类采集。实操建议在使用 Hugging Face 等平台上的现成数据集时建议先查看数据集的标签分布、数据量级和许可证信息License确认其是否允许商用、是否与训练目标匹配避免后续合规风险。以上就是笔者今天分享的全部内容啦本教程示例代码可以关注笔者同名公众号大模型真好玩并私信大模型训练免费获得。三、总结本期内容正式开启了实战篇。笔者系统梳理了训练网络安全大模型的七类核心数据来源——学术论文与顶会、NIST/MITRE 等标准框架、CVE/CWE 漏洞库、电子书籍、技术社区与厂商报告、开源现成数据集以及通过 EasyDataset 蒸馏生成的定制化语料——每类都给出了具体的获取渠道和可复现的采集代码。数据收集完成但此刻手里还是异构的原料论文是双栏排版的 PDF需要解析版面、提取正文电子书图文混排表格和代码块散落其中社区文章里转载重复、广告插入、标题党内容层出不穷……这些噪声和格式壁垒如果不加以处理会直接拉低模型的训练质量。那么如何将这些“毛坯料”加工成模型真正能消化的高质量数据集下一期《预训练数据的处理》告诉你大家敬请期待 大模型训练全流程实战指南实战篇（十四）——网络安全大模型数据获取
前言上篇文章使用EvalScope完成了从单一数据集单项能力评测到多数据集综合评测再到自定义数据集领域评测的完整实战。至此本专栏的工具篇正式收官——从训练流程总览、OCR 与 EasyDataset 的数据获取处理到 LLaMAFactory 的使用、参数详解与调优再到评测方法与实战演练大家手中已经集齐了大模型训练全链路的“武器库”。武器既已备足接下来便要在真正的战场上接受检验。从本篇开始本专栏正式迈入实战篇笔者将带领大家把前面学到的每一件工具按照“数据获取 → 数据处理 → 预训练 → 微调 → 强化学习 → 评测”的标准流程串联起来亲手训练一个面向网络安全领域的垂直大模型。为什么选择网络安全这个方向原因有两点都极具现实意义第一安全赛道是大模型落地见效最快的“高地”之一。Claude Mythos 在逆向分析、漏洞挖掘等任务上展现出的惊人能力让网络安全成为各大模型厂商竞相角逐的焦点领域。可以说谁在安全能力上率先突破谁就掌握了大模型深度赋能的主动权。第二小参数模型同样大有可为并非只有巨量参数才能出彩。已有研究论文《VulnLLM-R: Specialized Reasoning LLM with Agent Scaffold for Vulnerability Detection》 证明通过精心整理数据微调得到的 7B 规模模型在漏洞检测任务上同样取得了不俗的效果。这说明不依赖千亿级参数走“精耕细作”的小模型路线同样行得通对于资源有限但又想在面试和简历中打造亮点的同学来说无疑是一条务实且高价值的路径。训练垂直领域模型第一步永远是数据。本期内容笔者只聚焦一件事系统梳理网络安全大模型预训练所需的数据来源清单针对每一类数据给出具体获取渠道和可执行的采集示例为后续的预处理和训练打下坚实的地基。一、数据来源清单网络安全大模型的“教材”从哪里找笔者在《大模型训练全流程实战指南工具篇五——大模型训练全流程步骤详解与对应工具推荐》中曾强调数据工程的第一步是文本采集。但要训练出一个专业性强、效果好的大模型光会采集还不够对目标领域的知识体系和数据分布有足够深刻的认知才是数据工作的真正门槛。网络安全领域的数据有一个鲜明特点分散、异构、时效性强。论文存在于学术库中标准挂在官网上漏洞沉淀在数据库里而最鲜活的实战经验则散落在各个技术社区和厂商报告中。想训练出一个真正“懂安全”的大模型以下几类渠道最好一个都不要少。1.1 电子书籍系统化的知识底座一本优质的网络安全专著往往能够将一个方向的知识体系从头到尾讲透其内容的系统性、连贯性和深度是碎片化的博客文章难以比拟的。对于大模型而言书籍类语料结构清晰、逻辑严密有助于模型建立结构化的知识框架是数据采集中质量最高的类别之一。早在 2024 年Anthropic 曾斥资数千万美元购买实体书籍用于训练甚至为此专门建立数据工厂负责收集和扫描处理涉及版权侵权。这一消息一度冲上热搜也从侧面印证了书籍语料在高质量模型训练中的分量。但采集语料时不能只盯着网络安全专著。网络安全知识并非空中楼阁它与计算机网络、操作系统、编程语言等基础学科紧密交织。因此除了专业安全书籍计算机网络、操作系统、体系结构等基础教材同样不可或缺。具体来源推荐以下三类安全专业书籍国内如吴翰清的《白帽子讲Web安全》系统讲解 Web 安全的攻防原理是中文安全领域的入门经典国外如The Web Application Hacker’s Handbook《Web应用黑客手册》被誉为 Web 渗透的“圣经”覆盖从信息收集到各类漏洞利用的完整知识体系。网络基础书籍谢希仁的《计算机网络》是国内高校的标准教材讲解清晰、语言平实Tanenbaum 的《计算机网络》和 Stevens 的《TCP/IP 详解 卷1》则是国际公认的经典后者结合真实抓包讲解协议与安全攻防场景天然契合。计算机基础书籍CSAPP《深入理解计算机系统》详细介绍了程序、内存与并发的底层原理Silberschatz 的《操作系统概念》“恐龙书”对进程、内存与文件系统的讲解也堪称经典。在书籍语料采集中有一点要特别强调贵精不贵多关键在于书籍的结构合理性与权威性。一本好书的章节结构本身就是一张高质量的知识图谱——目录层次清晰、知识点由浅入深解析成 Markdown 后天然保留着良好的层级结构后续分块、蒸馏的效果都会更好反之劣质书内容东拼西凑、术语前后不一喂给模型等同于教它错误知识后续清洗也难以挽回。笔者在日常工作中一般按照以下标准来筛选书籍看作者与出版社人邮、机械工业、电子工业、O’Reilly 等权威出版社的经典系列普遍靠谱作者在该领域有实际工程或学术积累者优先。看版本与口碑优先选择多次再版的经典避开“21天速成”式的拼凑之作豆瓣评分、高校教材采用情况都是不错的参考依据。试读目录与一章正文结构清晰、术语规范、图表严谨的才值得正式入库。特别提醒书籍受版权保护个人练手使用通常问题不大但若模型计划商用务必留意授权范围是否明确允许将内容用于模型训练。1.2 学术论文与安全会议论文集打牢前沿基础学术论文是另一类不可替代的核心语料。论文语料的价值主要体现在如下几个方面原理基础让模型理解攻击与防御背后的为什么——缓冲区溢出为什么发生、侧信道如何工作、联邦学习下的投毒攻击怎么防御数据支撑的可信性论文经过同行评审有实验数据和量化评估背书是安全语料中可信度最高的一类。社区博客多是经验之谈而论文里的结论是测出来的模型从这类文本中学到的表述更严谨、更少幻觉前沿时效性arXiv 预印本和顶会论文代表领域最新动向。像大模型安全攻防、人工智能驱动的漏洞挖掘、大模型越狱攻击这些近两年才火起来的方向只有论文能第一时间覆盖笔者在工作中主要从以下两个渠道获取论文语料arXiv 的 cs.CR密码学与安全板块预印本论文的主阵地更新快且提供免费的检索 API是批量采集的首选。四大安全顶会论文集IEEE SP、USENIX Security、ACM CCS、NDSS。下面以 arXiv 的论文获取为例进行演示。假设笔者想要查找 arXiv 中计算机科学领域与log4j相关的安全论文可以使用以下代码检索并获取论文元信息# arxiv_search.py检索 arXiv cs.CR 板块的安全论文importurllib.requestimporturllib.parseimportxml.etree.ElementTreeasET queryurllib.parse.quote(cat:cs.CR AND all:log4j)url(fhttp://export.arxiv.org/api/query?search_query{query}fstart0max_results2)# 这里的max_results等可以调节查询数量requrllib.request.Request(url,headers{User-Agent:Mozilla/5.0})withurllib.request.urlopen(req,timeout30)asresp:rootET.fromstring(resp.read())ns{a:http://www.w3.org/2005/Atom}forentryinroot.findall(a:entry,ns):# id 形如 http://arxiv.org/abs/2501.17760v1从中提取论文 IDraw_identry.find(a:id,ns).text.strip()arxiv_idraw_id.split(/abs/)[-1]titleentry.find(a:title,ns).text.strip().replace(\n, )summaryentry.find(a:summary,ns).text.strip().replace(\n, )print(论文ID:,arxiv_id)print(标题:,title)print(摘要:,summary[:80],...)print(PDF下载链接: https://arxiv.org/pdf/arxiv_id)print(---)执行结果如下大家可以根据输出的 PDF 下载链接直接获取对应论文1.3 NIST、MITRE等标准与框架 权威规范知识源如果说论文教模型“前沿知识”和“为什么”那么标准框架就教模型“怎么做才规范”。网络安全行业高度依赖标准化知识体系这部分语料直接决定了模型在专业场景下输出的规范性、合规性与可信度。下面列举两个最权威的来源NIST SP 800 系列覆盖风险管理、事件响应、密码学应用等方方面面。例如 SP 800-61《计算机安全事件处理指南》就是应急响应场景的必读材料官网可免费下载 PDF。MITRE ATTCK堪称安全领域的“知识图谱”。它把攻击手法按战术、技术、子技术进行结构化组织并附有真实案例与缓解措施且提供官方 STIX 格式的 JSON 全量下载。每条攻击技术就是一个完整的结构化对象。以 MITRE ATTCK 为例一条攻击技术的 JSON 表示如下{type:attack-pattern,name:Phishing: Spearphishing Attachment,description:Adversaries may send spearphishing emails with a malicious attachment...,kill_chain_phases:[{phase_name:initial-access}]}实际采集时只需将name、description与缓解措施等字段拼装成自然语言段落即可得到高质量的语料。1.4 CVE、CWE 等漏洞缺陷数据库 漏洞与缺陷数据的不二法则漏洞知识是网络安全大模型区别于通用模型的核心竞争力之一。在日常使用场景中用户经常会问“这个代码会触发哪个 CVE 漏洞”“这个漏洞该如何修复”面对这类问题模型必须给出准确、规范的答案。先来看CVE 官方库。CVE 是漏洞编号的全球标准由 MITRE 维护每条记录包含漏洞标题、描述、受影响产品与参考链接。官方提供免费的 REST API按编号即可查询完整记录无需鉴权。下面是一段根据 CVE ID 查询漏洞详情的脚本# cve_search.py通过 CVE 官方 API 查询单条漏洞记录importjsonimporturllib.request CVE_IDCVE-2021-44228urlfhttps://cveawg.mitre.org/api/cve/{CVE_ID}requrllib.request.Request(url,headers{User-Agent:Mozilla/5.0})withurllib.request.urlopen(req,timeout30)asresp:datajson.load(resp)cnadata[containers][cna]descnext((d[value]fordincna[descriptions]ifd[lang].startswith(en)),)affectedcna[affected][0]print(编号:,data[cveMetadata][cveId])print(标题:,cna.get(title,))print(厂商/产品:,affected[vendor],/,affected[product])print(描述:,desc[:100],...)执行结果如下拿到结构化的字段后可以借助大模型将其转化为自然语言描述例如“CVE-2021-44228 是 Apache Log4j2 中的 JNDI 注入漏洞攻击者可远程未授权利用建议升级至 2.17.1 以上版本。”这样一来结构化的漏洞数据就能快速转化为模型易于学习的可读语料。单条 API 查询无法满足大规模采集需求大家也可以在 GitHub 上查找 CVE 官方维护的全量镜像仓库例如CVEProject/cvelistV5克隆后可按年份、厂商等维度筛选所需数据实现按年份等筛选条件的批量获取。除了 CVECWE 库同样是不可或缺的漏洞知识来源。两者的关系可以这样理解CVE 记录的是“具体某个产品暴露了哪个漏洞”而 CWE 分类的是“漏洞属于哪一类缺陷”——缓冲区溢出、SQL 注入、越权访问……每条 CWE 都包含缺陷名称、详细描述、典型代码示例与缓解建议是让模型理解漏洞成因与代码层面防御的关键语料。# cwe_parse.py下载并解析 CWE 官方全量数据importurllib.requestimportzipfileimportioimportxml.etree.ElementTreeasET urlhttps://cwe.mitre.org/data/xml/cwec_latest.xml.ziprequrllib.request.Request(url,headers{User-Agent:Mozilla/5.0})withurllib.request.urlopen(req,timeout120)asresp:dataresp.read()withzipfile.ZipFile(io.BytesIO(data))aszf:name[nforninzf.namelist()ifn.endswith(.xml)][0]rootET.fromstring(zf.read(name))ns{c:http://cwe.mitre.org/cwe-7}weaknessesroot.find(c:Weaknesses,ns)forwinlist(weaknesses)[:3]:descw.find(c:Description,ns).text.strip().replace(\n, )print(fCWE-{w.get(ID)}|{w.get(Name)}|{desc[:60]}...)print(弱点总数:,len(weaknesses.findall(c:Weakness,ns)))执行结果如下近千条 CWE 缺陷定义每条都是“缺陷定义 代码示例 修复建议”的完整结构模板化后就是优质且成体系的漏洞成因语料。类似的还有Exploit-DB公开漏洞利用代码库它适合让模型理解“漏洞如何被实际利用”从而在防御场景中给出更具针对性的建议。1.5 技术社区与安全厂商博客鲜活的实战经验论文和标准解决知识但网络安全同样是实战驱动的行业——一次真实攻击事件的复盘价值可能超过十篇论文。这部分语料侧重实践性、时效性与案例细节。具体来源推荐两个中文安全社区FreeBuf、安全客、先知社区等聚集了大量漏洞分析、渗透技巧、事件复盘文章。例如 FreeBuf 上针对每次重大漏洞如 Log4Shell的技术分析文章都是很好的语料。安全厂商的威胁分析报告奇安信、360、微步在线等厂商会定期发布 APT 组织分析、年度安全报告例如奇安信每年发布的《网络安全威胁分析报告》内容详实、专业性强是高质量语料的重要来源。英文渠道可补充 Krebs on Security、Google Project Zero 博客等。需要提醒的是这部分数据量最大、噪声也最多转载重复、广告导流、标题党内容混杂其中是后续清洗环节的重点关照对象。下一篇内容会讲解完整的数据清洗步骤二、现成数据集获取站在技术和社区肩膀上上一节重点解决了“从哪些渠道采集原始语料”的问题覆盖了书籍、论文、标准、漏洞库和社区博客等来源。但数据采集不止一条路——除了从零开始爬取和整理还可以直接利用现成的、经过初步加工的高质量数据集大幅节省时间和人力成本。本节就聚焦两类最具实操价值的获取方式一是用大模型“蒸馏”出定制化数据集二是直接从开源社区取用现成资源。2.1 EasyDataset蒸馏数据用大模型造语料当前闭源模型和超大参数量的开源模型性能遥遥领先。虽然训练的小模型不可能在每一个维度上都追平大模型但借助模型蒸馏的思想可以让大模型把推理思路“浓缩”成高质量的数据集再让小模型通过拟合这些数据在特定任务上逼近大模型的效果。蒸馏技术在当前专业模型训练的数据集构造中已经占据了举足轻重的地位。一个广为人知的例子是李飞飞团队发表的论文《s1: Simple test-time scaling》——他们仅花费约 50 美元就基于通义千问 Qwen2.5-32B 微调出了一个在推理能力上比肩 ChatGPT o1 和 DeepSeek R1 的模型而微调所用的数据集中就有一部分正是蒸馏自 Google Gemini 2.0 Flash Thinking。笔者在 大模型训练全流程实战指南工具篇八——EasyDataset问答数据集生成流程 中介绍的EasyDataset工具就提供了数据蒸馏的功能。EasyDataset 的蒸馏原理并不复杂但设计很巧妙它既会考虑任务场景的全覆盖又会兼顾数据的多样性和平衡性。其核心机制是通过多级标签逐层构造完整的领域知识树再针对每个叶子标签自动生成问题与答案。下面以“渗透测试”场景为例演示完整的蒸馏操作流程第一步创建项目设定顶级主题在 EasyDataset 中创建一个新项目项目名称将作为蒸馏任务的顶级主题。假设要蒸馏渗透测试相关的数据集可以将项目命名为“Web安全攻防渗透测试实战指南”——这也是笔者常用的做法直接借用一本知名书籍的名称作为主题锚点并在项目描述中填入该书的完整目录让大模型在生成标签时有一个清晰的知识边界。第二步进入蒸馏模块配置生成参数进入项目后点击“数据蒸馏”模块选择“全自动蒸馏数据”。在配置界面中需要设定两个关键参数标签层级与每层标签数量层级越深生成的标签粒度越细覆盖的知识点也越具体。例如 2 层可能只覆盖“Web 安全 → SQL 注入”这样的粗粒度主题而 34 层则可以细化到“Web 安全 → SQL 注入 → 报错注入 → 报错函数利用”这样的细粒度知识单元。每个标签生成的问题数量决定最终数据集的规模。配置完成后右侧会实时预览预计生成的问题总数方便根据训练需求调整参数。第三步启动蒸馏实时跟踪进度点击“开始自动蒸馏”后界面会详细展示任务执行进度包括标签构建阶段、问题生成阶段和答案生成阶段各自的状态与完成条数方便你随时掌握任务进展。第四步可选手动精细化调整除了全自动蒸馏EasyDataset 也支持手动逐级生成标签——你可以先定义一级标签再逐层展开细化每一步都有人工介入把关。这种方式更适合对领域知识有清晰把控的场景大家可以按需探索。2.2 开源论文、社区现成数据集除了自行采集数据之外开源社区上更是有不少可以直接使用的安全数据资产Hugging Face / ModelScope 上的安全数据集搜索 “cybersecurity”、“安全” 等关键词可以找到安全问答对、漏洞检测代码等数据集。以笔者开头提到的论文 《VulnLLM-R: Specialized Reasoning LLM with Agent Scaffold for Vulnerability Detection》 为例该论文的数据集就发布在了huggingface上大家可以直观的看到数据的格式并拿来使用CTF 竞赛 Writeup各大 CTF 平台的赛后题解是极好的攻防实操语料笔者建议单独归类采集。实操建议在使用 Hugging Face 等平台上的现成数据集时建议先查看数据集的标签分布、数据量级和许可证信息License确认其是否允许商用、是否与训练目标匹配避免后续合规风险。以上就是笔者今天分享的全部内容啦本教程示例代码可以关注笔者同名公众号大模型真好玩并私信大模型训练免费获得。三、总结本期内容正式开启了实战篇。笔者系统梳理了训练网络安全大模型的七类核心数据来源——学术论文与顶会、NIST/MITRE 等标准框架、CVE/CWE 漏洞库、电子书籍、技术社区与厂商报告、开源现成数据集以及通过 EasyDataset 蒸馏生成的定制化语料——每类都给出了具体的获取渠道和可复现的采集代码。数据收集完成但此刻手里还是异构的原料论文是双栏排版的 PDF需要解析版面、提取正文电子书图文混排表格和代码块散落其中社区文章里转载重复、广告插入、标题党内容层出不穷……这些噪声和格式壁垒如果不加以处理会直接拉低模型的训练质量。那么如何将这些“毛坯料”加工成模型真正能消化的高质量数据集下一期《预训练数据的处理》告诉你大家敬请期待