这几年不少企业都在跟我聊同一个话题手里的通用大模型明明很聪明聊起天来头头是道可一落到自己行业的真实业务里总感觉差那么口气。比如让它理解医疗术语、制造业的工艺文档、法律条文里的特殊表述它要么答非所问要么干脆一本正经地给出错误信息。问题倒不全在模型笨而是它压根没“读过”你们行业的东西。这个痛点直接催生了一个很热的技术路线Continued Pre-TrainingCPT中文一般叫继续预训练也叫领域自适应预训练。简单说就是在通用大模型的基础上用你自己行业的海量原始文本继续训练它让它真正“读万卷书”之后再上岗。这篇文章我就围绕“企业如何把通用大模型训练成行业模型”这条主线把CPT的完整实战路径、关键技术细节和常见坑一次说清楚。内容比较干建议先收藏实操的时候再翻出来对照着用。1. 为什么直接用通用大模型做微调还是解决不了行业落地的“最后一公里”很多人问我的第一个问题是我已经对通用大模型做了SFT监督微调喂了不少问答对为什么效果还是不够这个问题要回到大模型的训练机制上去看。1.1 通用大模型到底缺什么知识分布的行业偏差通用大模型的训练数据以互联网公开文本为主这些内容天然偏向百科、新闻、论坛、社交媒体这些东西。里面当然也有行业内容但占比很有限而且深度不够。你把一个制造业的通用大模型拿去读工厂的设备点检记录、工艺参数表、安全操作规程它其实是不认识的——不是字面不认识而是不理解这些文本背后的行业逻辑和术语体系。举个实际例子。我给一家装备制造企业做过技术方案他们在通用大模型上做SFT喂了一堆“轴承温度过高怎么办”的问答对。模型表面上看答得挺像回事但仔细一看它把“轴承温度过高”和“润滑油失效”之间简单的因果关系理解成了万能答案不同工况下的处理逻辑完全没学到。原因很简单SFT阶段模型主要学的是“怎么按问答格式说话”它没机会大量吸收这家企业过去十年积累的维修工单、故障分析报告、设备参数调整记录。这些文本才是行业知识的真实载体也是行业模型和通用模型拉开差距的关键。所以SFT解决的是“让模型学会回答”CPT解决的是“让模型真的懂行”。两者是有先后关系的而且CPT一般要在SFT之前做。1.2 行业模型的本质不是换个壳是要长出行业神经元我经常用一个比喻通用大模型像一个学习能力很强的毕业生脑子很好使但你直接让他上岗做你们行业的专业工作他连你们行业的“黑话”都听不懂。SFT是给他一本行业问答手册他照着手册能应付一些标准化问题CPT则是让他浸入式地泡在你们行业资料室里读几个月的书把专业词汇、常见逻辑、经典案例全部内化成自己的底子。这个比喻背后是有技术根据的。大模型在预训练阶段学到的词向量、语义表示、知识关联都沉淀在Transformer层的参数里。CPT通过继续训练让这些参数往行业方向上调整等于是把原本平均分布的通用知识重新塑造成带有行业偏置的专项知识结构。这个阶段搞扎实了后面对话模板、输出格式、场景化指令的微调才有真正的意义不然就是空中楼阁。2. Continued Pre-Training的核心技术原理它和原始预训练到底差在哪既然叫“继续预训练”很多人第一反应就是“不就是把预训练那套再跑一遍吗”。理论上是这个意思实操上差别非常大不能直接照搬。2.1 训练目标与数据形态的核心差异原始预训练阶段模型是从零开始或者从早期checkpoint开始在数万亿token的通用语料上学习。它的目标是建立一个通用的语言理解和生成能力训练数据讲究的是广覆盖、大数量、强多样性。CPT阶段目标完全不同它是在模型已经具备通用能力的前提下用少量但高质量的行业数据做定向增强。这时候的核心矛盾不再是“模型学不会”而是“怎么学才不把原来的能力忘掉”。所以CPT的训练目标本质上是在解决一个约束优化问题既要把行业知识学进去又要尽量不破坏原有的通用能力这个平衡是全文最核心的技术难点。实操中一般用自回归语言模型损失就是让模型预测下一个token这个和原始预训练一致但真正的差异主要体现在数据处理策略和训练超参数上。2.2 为什么学习率要压得很低防止灾难性遗忘原始预训练阶段学习率可以设在1e-4到3e-4这个量级因为模型要从零开始大力学习步子迈大了反而有助于探索。但CPT阶段模型已经有很成熟的参数结构了学习率如果还这么大训练几步之后原来的通用能力就会快速崩塌这在业界有个专门的名字叫灾难性遗忘Catastrophic Forgetting。我做过一组对比实验同样的行业数据用5e-5的学习率训练模型在通用基准上的表现基本不掉用3e-4的话通用对话能力肉眼可见地变差说出来的句子都开始磕磕绊绊。所以CPT的常见做法是学习率降到原始预训练的十分之一到五十分之一一般在1e-5到5e-5之间具体要看数据量和模型规模来调。2.3 训练数据配比行业数据和通用数据的混合艺术这也是CPT和原始预训练最大的不同点之一。原始预训练恨不得百分之百都是海量通用数据CPT如果也这么干就废了。行业数据如果从头到尾纯着来模型很快会过拟合到行业文本上生成的内容会变得单调、失去泛化能力。保守但好用的做法是行业数据和通用数据按3:7到5:5的比例混合。比如我做过一个法律行业项目行业数据是判决文书、法规条文、法律论文通用数据就是互联网清洗后的百科、新闻、技术博客。混合训练的好处是模型在吸收行业知识的同时还能持续巩固通用语言能力损失曲线也更平稳。数据比例可以用一个参数控制训练过程中根据loss变化动态调整。3. 完整实战流程从原始语料到行业大模型聊完原理下面进入实操环节。这一节我会拆解从数据处理到训练完成的完整链路每一步都会给出可以直接参考的做法和参数范围。3.1 行业语料的采集、清洗与格式化数据永远是训练的大前提很多企业在这里就翻车了。采集行业语料核心指标是质量优先不是数量优先。第一步是数据来源盘点。制造业可以找设备手册、工艺文件、质量报告、维修记录法律行业可以找判决书、法规、律所内部知识库医疗行业可以找病历注意脱敏、诊疗指南、医学教材。每个行业都有自己特有的高价值文本关键是把这些散落在各个系统的数据统一收拢。第二步是清洗和过滤。我见过最多的问题是数据里混杂了大量重复文本、空内容、乱码、无关广告信息。这些噪声如果不处理训练出来的模型生成质量会明显下降。常规清洗流程包括按长度过滤去掉过短碎片和超长异常文档做精确去重和模糊去重特别是行业报告这种高度模板化的内容去除HTML标签、特殊符号、纯数字等噪声如果涉及个人信息要做严格的脱敏处理过滤敏感内容和违反安全规范的内容第三步是格式化。清洗后的数据需要整理成模型训练的标准格式。以Llama、Qwen这些主流底座为例一般一行或一段文本作为一条样本样本之间用特殊分隔符隔开最终打包成JSONL格式或者直接处理成token id序列。序列长度一般设置为2048到8192之间看显存和底座模型的max position embedding来定。3.2 基座模型选型开源底座参数怎么选CPT的基座模型选型有几个实际考量因素。首先是开源还是闭源这个基本没悬念CPT必须要开源模型闭源API根本不给你动权重的机会。国产开源模型里Qwen系列、Baichuan系列国外Llama系列、Mistral系列都是可选对象。其次是参数量级。这里面有个很实在的经验10亿级以下模型适合数据量很少、业务场景单一的企业训练成本低但能力上限有限7B到14B级别目前企业落地的主流选择单卡或单机多卡就能训效果和成本的平衡点最好70B及以上级别适合有充足数据、GPU资源和技术团队的大企业效果上限更高但工程复杂度不是同一个量级我一般建议制造类、传统行业的企业从7B开始试水跑通全流程再往大规模走。一来7B的推理成本低方便内部快速试用二来小模型训练耗时短迭代速度快方便调数据、调参数。3.3 核心超参数设置参考表这一份参数表是经过多个项目验证的可以直接作为初始配置使用。注意这只是起点不代表最优解实际训练中要按loss表现做调整。参数建议值说明学习率1e-5 ~ 5e-5越小越稳数据量小时建议靠下限批次大小batch size128 ~ 512按token计大batch利于训练稳定但要兼顾显存训练轮数epochs1 ~ 3行业数据一般不反复多轮训练1-2轮最常见序列长度2048 ~ 8192长文本多的行业建议用更长序列行业数据比例30% ~ 50%与通用数据混合训练优化器AdamW加weight decay建议0.1左右学习率调度器cosine decay warmupwarmup步数设为总步数的1%~3%梯度裁剪1.0防止个别异常batch把参数带飞3.4 一个典型的训练配置示例下面给一份可以直接参考的DeepSpeed训练配置基于7B模型、8卡A10080G显存的环境# deepspeed_config.json { train_batch_size: 256, gradient_accumulation_steps: 4, train_micro_batch_size_per_gpu: 8, optimizer: { type: AdamW, params: { lr: 3e-5, betas: [0.9, 0.95], weight_decay: 0.1 } }, scheduler: { type: WarmupCosineLR, params: { warmup_min_lr: 1e-6, warmup_max_lr: 3e-5, warmup_num_steps: 200 } }, gradient_clipping: 1.0, zero_optimization: { stage: 2, offload_optimizer: { device: cpu } }, fp16: { enabled: true } }这里几个细节说一下。7B模型全参数训练单张80G显存也放不下完整权重加优化器状态所以用了ZeRO stage 2把优化器状态切分到多卡上如果显存依然吃紧就把优化器offload到CPU。micro batch size设成8是保守值显存剩得多可以往上调。梯度累积设4等效总batch是8卡乘8乘4等于256这个量级对7B模型来说训练稳定性和效果都比较好。3.5 训练过程的实时监控和效果评估训练不是启动之后干等着就能交差的需要盯几个关键指标。最核心的是loss曲线理想情况下整体应该平稳下降早期可能有小幅震荡那是正常的但如果loss突然暴涨说明学习率太大或者数据里有异常样本要迅速停下来排查。除了loss每训练一个checkpoint就应该做一次阶段性评估。评估集要分成两部分一部分是行业知识评测集可以用你们行业的问答、填空、摘要任务来做另一部分是通用能力抽查集用几个公开的通用benchmark或者日常对话问题来测。这样做的目的是确保模型在学行业知识的同时没有把通用能力丢掉。跑完一个epoch后对比评测结果一般会出现两种情况行业能力明显提升、通用能力轻微下降这个属于正常现象只要不大幅恶化就不用太慌但如果行业能力没有明显提升那大概率是数据质量有问题而不是训练参数的问题。4. 训练完的模型该怎么验收千万不要只看loss训练结束不等于工作结束。我见了不少团队训练完看到loss降了就欢呼结果一测试发现模型生成的内容根本不能用这在工程上叫“训练指标和业务指标脱节”。loss下降只能证明模型对训练数据的拟合度变好了不代表它在你关心的业务任务上真的表现变好。4.1 怎样构建一份靠谱的行业评测集评测集是验收环节的核心但很多人不重视随便找几个问题让模型答一答就算完事。这不行评测集做不好整个训练效果就是一笔糊涂账。好的行业评测集要有几个特征覆盖核心业务场景比如制造业的设备故障诊断、工艺参数推荐、安全规范问答每一个场景都要有足够多的样本难度要有区分度不能全是很简单的问题模型本来就答得好测不出差距要有一部分专业性强、需要行业经验才能答对的问题答案要有标准每个问题要有参考答案或者评分标准不然人工评起来主观性太强评测集数据要独立不能在训练数据里出现过不然就是“开卷考试”结果没有参考价值评测方式上可以结合自动化指标和人工评测。自动化指标比如ROUGE、BLEU适合摘要和翻译类任务生成式问答这种开放任务自动指标不太灵光建议做维度化人工打分从正确性、完整性、行业规范性、语言流畅度四个维度分别打分这样能快速定位模型的短板在哪。4.2 CPT和SFT的衔接技巧先晒网还是先打渔CPT做完之后的下一步通常是SFT/RLHF。这个衔接是有讲究的。最推荐的做法是CPT完成之后用CPT产出的模型作为底座再加上你们积累的行业问答数据做指令微调。原因也很简单CPT让模型有了行业知识底座SFT教它怎么以一个专业人员的口吻来回答问题。两个环节各司其职顺序不能交换。还有一个实践细节CPT训练时建议在最后一轮把多个checkpoint保存下来然后每个checkpoint分别做SFT最后用评测集挑一个最好的。这个操作对硬件资源有点要求但效果非常明显因为不同阶段的checkpoint对行业知识的吸收程度不一样有的可能在行业知识上更强有的可能在通用能力上保持得更好评测一跑就能选出最优组合。4.3 对话模板和推理参数对体验的影响很多人训练完了之后直接把模型接上推理框架发现效果一般就以为是训练出了问题。其实很多时候是对话模板没配对。每个基座模型在预训练阶段都会使用特定的对话格式比如Qwen用|im_start|这类特殊tokenLlama用[INST]这类指令格式。CPT阶段如果训练数据没有带上这些格式标记推理时就可能出现输出混乱、不遵循指令的情况。实操中有两种做法一是CPT训练阶段就按照原模型的格式把文本和标记组织好让模型在继续预训练时也熟悉这套格式二是CPT时不带格式纯文本训练推理时模板仍然用原模型的。我倾向于第一种效果会更稳。如果用的是带对话模板的数据格式要跟基座模型的tokenizer完全对齐不然特殊token会被错误编码那个问题排查起来非常隐蔽。推理参数也很关键。temperature建议0.2到0.7之间行业问答场景一般偏低让输出更确定性top_p设0.85到0.95max_new_tokens要按业务需求设置。很多行业问答需要输出较长的规范流程max_tokens设太小内容会被截断用户体验很差。5. 基础设施和工程化的几个关键决策点聊完模型层面的东西再往工程化走一步。CPT训练的工程复杂度远高于SFT几个基础设施层面的坑提前说清楚能省不少折腾时间。5.1 训练框架和分布式并行怎么选目前企业做CPT用得最多的还是DeepSpeed和Megatron-LM还有近年来比较流行的LLaMA-Factory、xtuner这类上层训练框架它们底层也是依赖DeepSpeed但封装了数据格式、训练流程、模型加载等细节对中小团队友好很多。深度并行方案上一般分三步走如果是单机多卡比如一台8卡A100/H100用DeepSpeed的ZeRO stage 2就能覆盖大多数7B到14B模型的训练如果模型到了30B以上建议上ZeRO stage 3配合offload让显存和内存都用起来如果模型更大或者训练数据非常多就要考虑张量并行加流水线并行这时候直接上Megatron或结合DeepSpeed的混合并行方案更靠谱对多数制造业、法律、医疗行业的企业来说7B到14B模型单机8卡DeepSpeed是性价比最高的组合。往上的规模不是不行而是运维成本、稳定性问题会成倍增加非核心团队慎入。5.2 算力资源估算一次训练到底花多少钱这个是很现实的成本问题提前算清楚能免去很多“训了一半没预算了”的尴尬。核心公式是训练时长约等于总token数除以吞吐量。举个例子假设你有10GB的行业数据1个token大概是0.75个汉字左右那10GB纯文本大概对应70亿到90亿个token。按数据配比50%行业加50%通用来算总训练token数在140亿到180亿之间。用8卡A100 80G训练7B模型在DeepSpeed ZeRO stage 2下吞吐量一般能做到每秒6万到10万token。150亿token除以每秒8万token大概需要5.2小时。实践中考虑到数据加载、checkpoint保存、可能的断点续训实际耗时通常要打1.5倍余量也就是8小时左右能跑完一轮。云GPU的话8卡A100按市场价每小时几十到上百元不等这样一次训练的成本就是几千元人民币的量级。如果是自有H800主要成本就是电费和维护。这个量级说明CPT并不是只有大厂才玩得起的项目中小企业完全可以用小步快跑的方式先验证效果。5.3 数据安全与合规企业内部模型不能忽略的一条红线最后必须严肃说一个问题数据安全。CPT训练用的行业数据里很可能包含企业核心经营数据、未公开技术资料、用户隐私信息这些数据一旦进入训练流程就面临被泄露的风险。基本安全底线有三条数据先脱敏再训练尤其是涉及个人信息和商业秘密的内容要做严格的匿名化处理训练环境与公网隔离整个训练链路都要在私有化环境里完成训练产物不能上传到外部平台模型文件本身要充分管控谁有权限加载、谁有权限继续微调都要有明确的审批流程从工程架构角度讲有条件的企业建议把训练、推理都放在内部私有云或者本地机房不依赖外部API确保数据闭环。这个不是技术能力问题而是法务和业务的双重要求出了事再补就晚了。6. 常见问题与排查技巧实录最后这部分我把这几年做CPT项目里遇到过的高频问题整理成一个速查表都是实际操练中踩出来的经验直接照单排查比翻文档效率高得多。6.1 训练Loss异常波动的排查路径现象可能原因排查手段Loss整体下降但偶尔突然尖峰数据里有异常长文本或乱码样本检查训练日志对应的数据批次清洗掉噪声样本Loss不下降一直在高位震荡学习率过大或数据质量太差降低学习率到1e-5重新做数据质量抽检Loss降到一定值后停止下降行业数据量不够或者数据多样性不足补充更多来源的行业文本降低行业数据比例训练初期Loss高于预训练初始值行业数据分布与通用语料差异太大加入更多通用数据混合让模型逐步适应Loss异常的时候第一反应不应该是调参数而是先检查数据。业内做预训练有一句话叫“数据决定了模型的上限训练只是在逼近这个上限”。调参能解决的是加速收敛和稳定训练解决不了数据本身的缺陷。6.2 模型“学不进去”行业知识的几类原因有一种情况很让人头疼训练完了loss也降了但拿行业问题一问模型基本还是通用水平。这种“学习无效”问题通常有三个原因第一是行业数据量太少。7B模型如果想明显提升某一行业的专业能力行业原始文本最好不低于1亿token数据量太少模型根本学不到足够的统计规律。第二是行业数据过于单一。比如只有产品说明书一种类型模型学到的行业知识就非常表面。理想情况下行业数据要覆盖行业术语、操作规程、案例分析、常见问题等多个维度知识结构才能立体。第三是混入的通用数据比例太高了。我见过有团队担心灾难性遗忘把通用数据比例调到70%以上结果行业数据占比太少等于没训。通用数据的作用是保底不是喧宾夺主。6.3 时间成本和迭代策略的建议很多团队CPT投了一轮训练发现效果不好就直接否定了这个路线其实问题往往出在流程细节上而不是路线本身。我的建议是第一个项目不要把战线拖太长先控制在一个星期到两个星期的节奏里快速跑出一版模型拿去做业务试用收集反馈后迭代第二轮。另外一个小技巧如果数据量很大但团队资源有限可以先做一部分高质量子集训练出一版看看loss下降趋势和评测集效果再决定要不要加量。这种先小后大的策略能大幅度降低试错成本相当适合初次上手CPT团队。7. 从技术到商业落地互联网和制造业的不同打法CPT最终要落到商业价值上纯技术讨论意义不大。我接触过不少互联网企业和制造企业的项目这两类企业在用CPT做行业模型时的策略和侧重点非常不一样值得展开说说。互联网行业的落地节奏追求“快”。比如做内容推荐的、做客服对话的、做内容审核的这些场景数据反馈及时、效果验证周期短可以快速迭代。核心侧重点是场景适配效率——用多少行业数据、多久能上线、效果提升多少都要快速给业务一个交代。互联网企业做CPT往往会先做一个小规模POC用一两个场景验证后立刻铺开路径相对轻快。制造业的玩法完全不同。制造业的数据大量沉淀在设备系统、工艺文档、维修记录里数据格式杂、分布散、质量参差想直接拿来训练基本不可能前期数据治理工作比训练本身还重。制造业的侧重点是数据资产的沉淀和知识的结构化——建立一套可以持续更新的行业知识库让模型沉淀成企业长期可复用的智力资产。周期上不追求一个月上线更看重半年、一年后的稳定产出。这两种策略其实代表了CPT落地的两种典型路径一个是“数据驱动快速迭代”一个是“知识工程长期沉淀”。企业要根据自己的数据基础和业务节奏想清楚走哪条路线避免用互联网的节奏套制造业结果数据和工程都没准备好最后造成资源浪费。关于地社会PPRM这类偏产品规划层面的框架我之前在分析行业大模型落地路径时接触过一些类似的方法论——本质都是把预训练、后训练、评测反馈、监控迭代拆成标准动作套到具体业务里。如果你们企业内部有一套这样的模型运营规范CPT就是其中“预训练”环节最重要的技术支撑。没有这个环节后续的数据飞轮、场景优化都是无源之水。8. 写在后面几个不该忽略的实战心得最后聊几个项目收尾时容易忽略的点都比较实在。第一个是中途记得存checkpoint。训练中途断电、断网、进程被杀这种事做训练的人一定都经历过。没有可靠的checkpoint机制一断就是练了好几天的心血全白费。一般建议每500到1000步保存一次同时保留最近两到三个中间状态防止某个checkpoint本身损坏。断点续训的代码路径一定要提前测试好别真出问题了再研究怎么恢复。第二个是做模型训练记录要留档。不少人训完之后只留了一个final model中间各种实验参数、数据版本、评测结果全都不管了。等后面模型效果出了问题想复盘翻遍文件夹找不出当时的配置非常被动。每个版本的模型训练的配套信息数据配比、超参数、评测结果、训练日志都建议用表格记下来长期看价值非常大。第三个是做小版本快跑优于做大版本慢磨。CPT这个技术路线和预训练一样充满了不确定性。与其花两个月把数据做到完美再训练不如先用一个中等质量的子集跑出第一版发现问题后快速调整第二轮。这个思路在几个项目里反复验证过快比完美重要。第四个心得是我在多个行业项目里反复确认的CPT做完后模型虽然“懂行了”但输出风格、回答规范度还远远达不到直接面向客户的水平后面必须再接SFT和偏好对齐RLHF/DPO环节。有些团队CPT效果满意就急着上线实际生产环境用起来发现输出的格式一塌糊涂这就是跳过对齐环节的结果。CPT打底子SFT教规矩RLHF调气质这一步一步都不能省。总的来说把通用大模型训练成行业模型CPT是一条绕不开的路。它的技术门槛确实存在但并没有高到只有大厂才能做。对很多企业来说想清楚自己的数据底盘和业务场景找一套合适的开源底座用今天文章里的方法小步快跑起来尽早做出一个真实可用的行业模型版本再通过使用反馈和数据积累去迭代比什么都重要。 企业如何用继续预训练（CPT）把通用大模型训练成行业模型
这几年不少企业都在跟我聊同一个话题手里的通用大模型明明很聪明聊起天来头头是道可一落到自己行业的真实业务里总感觉差那么口气。比如让它理解医疗术语、制造业的工艺文档、法律条文里的特殊表述它要么答非所问要么干脆一本正经地给出错误信息。问题倒不全在模型笨而是它压根没“读过”你们行业的东西。这个痛点直接催生了一个很热的技术路线Continued Pre-TrainingCPT中文一般叫继续预训练也叫领域自适应预训练。简单说就是在通用大模型的基础上用你自己行业的海量原始文本继续训练它让它真正“读万卷书”之后再上岗。这篇文章我就围绕“企业如何把通用大模型训练成行业模型”这条主线把CPT的完整实战路径、关键技术细节和常见坑一次说清楚。内容比较干建议先收藏实操的时候再翻出来对照着用。1. 为什么直接用通用大模型做微调还是解决不了行业落地的“最后一公里”很多人问我的第一个问题是我已经对通用大模型做了SFT监督微调喂了不少问答对为什么效果还是不够这个问题要回到大模型的训练机制上去看。1.1 通用大模型到底缺什么知识分布的行业偏差通用大模型的训练数据以互联网公开文本为主这些内容天然偏向百科、新闻、论坛、社交媒体这些东西。里面当然也有行业内容但占比很有限而且深度不够。你把一个制造业的通用大模型拿去读工厂的设备点检记录、工艺参数表、安全操作规程它其实是不认识的——不是字面不认识而是不理解这些文本背后的行业逻辑和术语体系。举个实际例子。我给一家装备制造企业做过技术方案他们在通用大模型上做SFT喂了一堆“轴承温度过高怎么办”的问答对。模型表面上看答得挺像回事但仔细一看它把“轴承温度过高”和“润滑油失效”之间简单的因果关系理解成了万能答案不同工况下的处理逻辑完全没学到。原因很简单SFT阶段模型主要学的是“怎么按问答格式说话”它没机会大量吸收这家企业过去十年积累的维修工单、故障分析报告、设备参数调整记录。这些文本才是行业知识的真实载体也是行业模型和通用模型拉开差距的关键。所以SFT解决的是“让模型学会回答”CPT解决的是“让模型真的懂行”。两者是有先后关系的而且CPT一般要在SFT之前做。1.2 行业模型的本质不是换个壳是要长出行业神经元我经常用一个比喻通用大模型像一个学习能力很强的毕业生脑子很好使但你直接让他上岗做你们行业的专业工作他连你们行业的“黑话”都听不懂。SFT是给他一本行业问答手册他照着手册能应付一些标准化问题CPT则是让他浸入式地泡在你们行业资料室里读几个月的书把专业词汇、常见逻辑、经典案例全部内化成自己的底子。这个比喻背后是有技术根据的。大模型在预训练阶段学到的词向量、语义表示、知识关联都沉淀在Transformer层的参数里。CPT通过继续训练让这些参数往行业方向上调整等于是把原本平均分布的通用知识重新塑造成带有行业偏置的专项知识结构。这个阶段搞扎实了后面对话模板、输出格式、场景化指令的微调才有真正的意义不然就是空中楼阁。2. Continued Pre-Training的核心技术原理它和原始预训练到底差在哪既然叫“继续预训练”很多人第一反应就是“不就是把预训练那套再跑一遍吗”。理论上是这个意思实操上差别非常大不能直接照搬。2.1 训练目标与数据形态的核心差异原始预训练阶段模型是从零开始或者从早期checkpoint开始在数万亿token的通用语料上学习。它的目标是建立一个通用的语言理解和生成能力训练数据讲究的是广覆盖、大数量、强多样性。CPT阶段目标完全不同它是在模型已经具备通用能力的前提下用少量但高质量的行业数据做定向增强。这时候的核心矛盾不再是“模型学不会”而是“怎么学才不把原来的能力忘掉”。所以CPT的训练目标本质上是在解决一个约束优化问题既要把行业知识学进去又要尽量不破坏原有的通用能力这个平衡是全文最核心的技术难点。实操中一般用自回归语言模型损失就是让模型预测下一个token这个和原始预训练一致但真正的差异主要体现在数据处理策略和训练超参数上。2.2 为什么学习率要压得很低防止灾难性遗忘原始预训练阶段学习率可以设在1e-4到3e-4这个量级因为模型要从零开始大力学习步子迈大了反而有助于探索。但CPT阶段模型已经有很成熟的参数结构了学习率如果还这么大训练几步之后原来的通用能力就会快速崩塌这在业界有个专门的名字叫灾难性遗忘Catastrophic Forgetting。我做过一组对比实验同样的行业数据用5e-5的学习率训练模型在通用基准上的表现基本不掉用3e-4的话通用对话能力肉眼可见地变差说出来的句子都开始磕磕绊绊。所以CPT的常见做法是学习率降到原始预训练的十分之一到五十分之一一般在1e-5到5e-5之间具体要看数据量和模型规模来调。2.3 训练数据配比行业数据和通用数据的混合艺术这也是CPT和原始预训练最大的不同点之一。原始预训练恨不得百分之百都是海量通用数据CPT如果也这么干就废了。行业数据如果从头到尾纯着来模型很快会过拟合到行业文本上生成的内容会变得单调、失去泛化能力。保守但好用的做法是行业数据和通用数据按3:7到5:5的比例混合。比如我做过一个法律行业项目行业数据是判决文书、法规条文、法律论文通用数据就是互联网清洗后的百科、新闻、技术博客。混合训练的好处是模型在吸收行业知识的同时还能持续巩固通用语言能力损失曲线也更平稳。数据比例可以用一个参数控制训练过程中根据loss变化动态调整。3. 完整实战流程从原始语料到行业大模型聊完原理下面进入实操环节。这一节我会拆解从数据处理到训练完成的完整链路每一步都会给出可以直接参考的做法和参数范围。3.1 行业语料的采集、清洗与格式化数据永远是训练的大前提很多企业在这里就翻车了。采集行业语料核心指标是质量优先不是数量优先。第一步是数据来源盘点。制造业可以找设备手册、工艺文件、质量报告、维修记录法律行业可以找判决书、法规、律所内部知识库医疗行业可以找病历注意脱敏、诊疗指南、医学教材。每个行业都有自己特有的高价值文本关键是把这些散落在各个系统的数据统一收拢。第二步是清洗和过滤。我见过最多的问题是数据里混杂了大量重复文本、空内容、乱码、无关广告信息。这些噪声如果不处理训练出来的模型生成质量会明显下降。常规清洗流程包括按长度过滤去掉过短碎片和超长异常文档做精确去重和模糊去重特别是行业报告这种高度模板化的内容去除HTML标签、特殊符号、纯数字等噪声如果涉及个人信息要做严格的脱敏处理过滤敏感内容和违反安全规范的内容第三步是格式化。清洗后的数据需要整理成模型训练的标准格式。以Llama、Qwen这些主流底座为例一般一行或一段文本作为一条样本样本之间用特殊分隔符隔开最终打包成JSONL格式或者直接处理成token id序列。序列长度一般设置为2048到8192之间看显存和底座模型的max position embedding来定。3.2 基座模型选型开源底座参数怎么选CPT的基座模型选型有几个实际考量因素。首先是开源还是闭源这个基本没悬念CPT必须要开源模型闭源API根本不给你动权重的机会。国产开源模型里Qwen系列、Baichuan系列国外Llama系列、Mistral系列都是可选对象。其次是参数量级。这里面有个很实在的经验10亿级以下模型适合数据量很少、业务场景单一的企业训练成本低但能力上限有限7B到14B级别目前企业落地的主流选择单卡或单机多卡就能训效果和成本的平衡点最好70B及以上级别适合有充足数据、GPU资源和技术团队的大企业效果上限更高但工程复杂度不是同一个量级我一般建议制造类、传统行业的企业从7B开始试水跑通全流程再往大规模走。一来7B的推理成本低方便内部快速试用二来小模型训练耗时短迭代速度快方便调数据、调参数。3.3 核心超参数设置参考表这一份参数表是经过多个项目验证的可以直接作为初始配置使用。注意这只是起点不代表最优解实际训练中要按loss表现做调整。参数建议值说明学习率1e-5 ~ 5e-5越小越稳数据量小时建议靠下限批次大小batch size128 ~ 512按token计大batch利于训练稳定但要兼顾显存训练轮数epochs1 ~ 3行业数据一般不反复多轮训练1-2轮最常见序列长度2048 ~ 8192长文本多的行业建议用更长序列行业数据比例30% ~ 50%与通用数据混合训练优化器AdamW加weight decay建议0.1左右学习率调度器cosine decay warmupwarmup步数设为总步数的1%~3%梯度裁剪1.0防止个别异常batch把参数带飞3.4 一个典型的训练配置示例下面给一份可以直接参考的DeepSpeed训练配置基于7B模型、8卡A10080G显存的环境# deepspeed_config.json { train_batch_size: 256, gradient_accumulation_steps: 4, train_micro_batch_size_per_gpu: 8, optimizer: { type: AdamW, params: { lr: 3e-5, betas: [0.9, 0.95], weight_decay: 0.1 } }, scheduler: { type: WarmupCosineLR, params: { warmup_min_lr: 1e-6, warmup_max_lr: 3e-5, warmup_num_steps: 200 } }, gradient_clipping: 1.0, zero_optimization: { stage: 2, offload_optimizer: { device: cpu } }, fp16: { enabled: true } }这里几个细节说一下。7B模型全参数训练单张80G显存也放不下完整权重加优化器状态所以用了ZeRO stage 2把优化器状态切分到多卡上如果显存依然吃紧就把优化器offload到CPU。micro batch size设成8是保守值显存剩得多可以往上调。梯度累积设4等效总batch是8卡乘8乘4等于256这个量级对7B模型来说训练稳定性和效果都比较好。3.5 训练过程的实时监控和效果评估训练不是启动之后干等着就能交差的需要盯几个关键指标。最核心的是loss曲线理想情况下整体应该平稳下降早期可能有小幅震荡那是正常的但如果loss突然暴涨说明学习率太大或者数据里有异常样本要迅速停下来排查。除了loss每训练一个checkpoint就应该做一次阶段性评估。评估集要分成两部分一部分是行业知识评测集可以用你们行业的问答、填空、摘要任务来做另一部分是通用能力抽查集用几个公开的通用benchmark或者日常对话问题来测。这样做的目的是确保模型在学行业知识的同时没有把通用能力丢掉。跑完一个epoch后对比评测结果一般会出现两种情况行业能力明显提升、通用能力轻微下降这个属于正常现象只要不大幅恶化就不用太慌但如果行业能力没有明显提升那大概率是数据质量有问题而不是训练参数的问题。4. 训练完的模型该怎么验收千万不要只看loss训练结束不等于工作结束。我见了不少团队训练完看到loss降了就欢呼结果一测试发现模型生成的内容根本不能用这在工程上叫“训练指标和业务指标脱节”。loss下降只能证明模型对训练数据的拟合度变好了不代表它在你关心的业务任务上真的表现变好。4.1 怎样构建一份靠谱的行业评测集评测集是验收环节的核心但很多人不重视随便找几个问题让模型答一答就算完事。这不行评测集做不好整个训练效果就是一笔糊涂账。好的行业评测集要有几个特征覆盖核心业务场景比如制造业的设备故障诊断、工艺参数推荐、安全规范问答每一个场景都要有足够多的样本难度要有区分度不能全是很简单的问题模型本来就答得好测不出差距要有一部分专业性强、需要行业经验才能答对的问题答案要有标准每个问题要有参考答案或者评分标准不然人工评起来主观性太强评测集数据要独立不能在训练数据里出现过不然就是“开卷考试”结果没有参考价值评测方式上可以结合自动化指标和人工评测。自动化指标比如ROUGE、BLEU适合摘要和翻译类任务生成式问答这种开放任务自动指标不太灵光建议做维度化人工打分从正确性、完整性、行业规范性、语言流畅度四个维度分别打分这样能快速定位模型的短板在哪。4.2 CPT和SFT的衔接技巧先晒网还是先打渔CPT做完之后的下一步通常是SFT/RLHF。这个衔接是有讲究的。最推荐的做法是CPT完成之后用CPT产出的模型作为底座再加上你们积累的行业问答数据做指令微调。原因也很简单CPT让模型有了行业知识底座SFT教它怎么以一个专业人员的口吻来回答问题。两个环节各司其职顺序不能交换。还有一个实践细节CPT训练时建议在最后一轮把多个checkpoint保存下来然后每个checkpoint分别做SFT最后用评测集挑一个最好的。这个操作对硬件资源有点要求但效果非常明显因为不同阶段的checkpoint对行业知识的吸收程度不一样有的可能在行业知识上更强有的可能在通用能力上保持得更好评测一跑就能选出最优组合。4.3 对话模板和推理参数对体验的影响很多人训练完了之后直接把模型接上推理框架发现效果一般就以为是训练出了问题。其实很多时候是对话模板没配对。每个基座模型在预训练阶段都会使用特定的对话格式比如Qwen用|im_start|这类特殊tokenLlama用[INST]这类指令格式。CPT阶段如果训练数据没有带上这些格式标记推理时就可能出现输出混乱、不遵循指令的情况。实操中有两种做法一是CPT训练阶段就按照原模型的格式把文本和标记组织好让模型在继续预训练时也熟悉这套格式二是CPT时不带格式纯文本训练推理时模板仍然用原模型的。我倾向于第一种效果会更稳。如果用的是带对话模板的数据格式要跟基座模型的tokenizer完全对齐不然特殊token会被错误编码那个问题排查起来非常隐蔽。推理参数也很关键。temperature建议0.2到0.7之间行业问答场景一般偏低让输出更确定性top_p设0.85到0.95max_new_tokens要按业务需求设置。很多行业问答需要输出较长的规范流程max_tokens设太小内容会被截断用户体验很差。5. 基础设施和工程化的几个关键决策点聊完模型层面的东西再往工程化走一步。CPT训练的工程复杂度远高于SFT几个基础设施层面的坑提前说清楚能省不少折腾时间。5.1 训练框架和分布式并行怎么选目前企业做CPT用得最多的还是DeepSpeed和Megatron-LM还有近年来比较流行的LLaMA-Factory、xtuner这类上层训练框架它们底层也是依赖DeepSpeed但封装了数据格式、训练流程、模型加载等细节对中小团队友好很多。深度并行方案上一般分三步走如果是单机多卡比如一台8卡A100/H100用DeepSpeed的ZeRO stage 2就能覆盖大多数7B到14B模型的训练如果模型到了30B以上建议上ZeRO stage 3配合offload让显存和内存都用起来如果模型更大或者训练数据非常多就要考虑张量并行加流水线并行这时候直接上Megatron或结合DeepSpeed的混合并行方案更靠谱对多数制造业、法律、医疗行业的企业来说7B到14B模型单机8卡DeepSpeed是性价比最高的组合。往上的规模不是不行而是运维成本、稳定性问题会成倍增加非核心团队慎入。5.2 算力资源估算一次训练到底花多少钱这个是很现实的成本问题提前算清楚能免去很多“训了一半没预算了”的尴尬。核心公式是训练时长约等于总token数除以吞吐量。举个例子假设你有10GB的行业数据1个token大概是0.75个汉字左右那10GB纯文本大概对应70亿到90亿个token。按数据配比50%行业加50%通用来算总训练token数在140亿到180亿之间。用8卡A100 80G训练7B模型在DeepSpeed ZeRO stage 2下吞吐量一般能做到每秒6万到10万token。150亿token除以每秒8万token大概需要5.2小时。实践中考虑到数据加载、checkpoint保存、可能的断点续训实际耗时通常要打1.5倍余量也就是8小时左右能跑完一轮。云GPU的话8卡A100按市场价每小时几十到上百元不等这样一次训练的成本就是几千元人民币的量级。如果是自有H800主要成本就是电费和维护。这个量级说明CPT并不是只有大厂才玩得起的项目中小企业完全可以用小步快跑的方式先验证效果。5.3 数据安全与合规企业内部模型不能忽略的一条红线最后必须严肃说一个问题数据安全。CPT训练用的行业数据里很可能包含企业核心经营数据、未公开技术资料、用户隐私信息这些数据一旦进入训练流程就面临被泄露的风险。基本安全底线有三条数据先脱敏再训练尤其是涉及个人信息和商业秘密的内容要做严格的匿名化处理训练环境与公网隔离整个训练链路都要在私有化环境里完成训练产物不能上传到外部平台模型文件本身要充分管控谁有权限加载、谁有权限继续微调都要有明确的审批流程从工程架构角度讲有条件的企业建议把训练、推理都放在内部私有云或者本地机房不依赖外部API确保数据闭环。这个不是技术能力问题而是法务和业务的双重要求出了事再补就晚了。6. 常见问题与排查技巧实录最后这部分我把这几年做CPT项目里遇到过的高频问题整理成一个速查表都是实际操练中踩出来的经验直接照单排查比翻文档效率高得多。6.1 训练Loss异常波动的排查路径现象可能原因排查手段Loss整体下降但偶尔突然尖峰数据里有异常长文本或乱码样本检查训练日志对应的数据批次清洗掉噪声样本Loss不下降一直在高位震荡学习率过大或数据质量太差降低学习率到1e-5重新做数据质量抽检Loss降到一定值后停止下降行业数据量不够或者数据多样性不足补充更多来源的行业文本降低行业数据比例训练初期Loss高于预训练初始值行业数据分布与通用语料差异太大加入更多通用数据混合让模型逐步适应Loss异常的时候第一反应不应该是调参数而是先检查数据。业内做预训练有一句话叫“数据决定了模型的上限训练只是在逼近这个上限”。调参能解决的是加速收敛和稳定训练解决不了数据本身的缺陷。6.2 模型“学不进去”行业知识的几类原因有一种情况很让人头疼训练完了loss也降了但拿行业问题一问模型基本还是通用水平。这种“学习无效”问题通常有三个原因第一是行业数据量太少。7B模型如果想明显提升某一行业的专业能力行业原始文本最好不低于1亿token数据量太少模型根本学不到足够的统计规律。第二是行业数据过于单一。比如只有产品说明书一种类型模型学到的行业知识就非常表面。理想情况下行业数据要覆盖行业术语、操作规程、案例分析、常见问题等多个维度知识结构才能立体。第三是混入的通用数据比例太高了。我见过有团队担心灾难性遗忘把通用数据比例调到70%以上结果行业数据占比太少等于没训。通用数据的作用是保底不是喧宾夺主。6.3 时间成本和迭代策略的建议很多团队CPT投了一轮训练发现效果不好就直接否定了这个路线其实问题往往出在流程细节上而不是路线本身。我的建议是第一个项目不要把战线拖太长先控制在一个星期到两个星期的节奏里快速跑出一版模型拿去做业务试用收集反馈后迭代第二轮。另外一个小技巧如果数据量很大但团队资源有限可以先做一部分高质量子集训练出一版看看loss下降趋势和评测集效果再决定要不要加量。这种先小后大的策略能大幅度降低试错成本相当适合初次上手CPT团队。7. 从技术到商业落地互联网和制造业的不同打法CPT最终要落到商业价值上纯技术讨论意义不大。我接触过不少互联网企业和制造企业的项目这两类企业在用CPT做行业模型时的策略和侧重点非常不一样值得展开说说。互联网行业的落地节奏追求“快”。比如做内容推荐的、做客服对话的、做内容审核的这些场景数据反馈及时、效果验证周期短可以快速迭代。核心侧重点是场景适配效率——用多少行业数据、多久能上线、效果提升多少都要快速给业务一个交代。互联网企业做CPT往往会先做一个小规模POC用一两个场景验证后立刻铺开路径相对轻快。制造业的玩法完全不同。制造业的数据大量沉淀在设备系统、工艺文档、维修记录里数据格式杂、分布散、质量参差想直接拿来训练基本不可能前期数据治理工作比训练本身还重。制造业的侧重点是数据资产的沉淀和知识的结构化——建立一套可以持续更新的行业知识库让模型沉淀成企业长期可复用的智力资产。周期上不追求一个月上线更看重半年、一年后的稳定产出。这两种策略其实代表了CPT落地的两种典型路径一个是“数据驱动快速迭代”一个是“知识工程长期沉淀”。企业要根据自己的数据基础和业务节奏想清楚走哪条路线避免用互联网的节奏套制造业结果数据和工程都没准备好最后造成资源浪费。关于地社会PPRM这类偏产品规划层面的框架我之前在分析行业大模型落地路径时接触过一些类似的方法论——本质都是把预训练、后训练、评测反馈、监控迭代拆成标准动作套到具体业务里。如果你们企业内部有一套这样的模型运营规范CPT就是其中“预训练”环节最重要的技术支撑。没有这个环节后续的数据飞轮、场景优化都是无源之水。8. 写在后面几个不该忽略的实战心得最后聊几个项目收尾时容易忽略的点都比较实在。第一个是中途记得存checkpoint。训练中途断电、断网、进程被杀这种事做训练的人一定都经历过。没有可靠的checkpoint机制一断就是练了好几天的心血全白费。一般建议每500到1000步保存一次同时保留最近两到三个中间状态防止某个checkpoint本身损坏。断点续训的代码路径一定要提前测试好别真出问题了再研究怎么恢复。第二个是做模型训练记录要留档。不少人训完之后只留了一个final model中间各种实验参数、数据版本、评测结果全都不管了。等后面模型效果出了问题想复盘翻遍文件夹找不出当时的配置非常被动。每个版本的模型训练的配套信息数据配比、超参数、评测结果、训练日志都建议用表格记下来长期看价值非常大。第三个是做小版本快跑优于做大版本慢磨。CPT这个技术路线和预训练一样充满了不确定性。与其花两个月把数据做到完美再训练不如先用一个中等质量的子集跑出第一版发现问题后快速调整第二轮。这个思路在几个项目里反复验证过快比完美重要。第四个心得是我在多个行业项目里反复确认的CPT做完后模型虽然“懂行了”但输出风格、回答规范度还远远达不到直接面向客户的水平后面必须再接SFT和偏好对齐RLHF/DPO环节。有些团队CPT效果满意就急着上线实际生产环境用起来发现输出的格式一塌糊涂这就是跳过对齐环节的结果。CPT打底子SFT教规矩RLHF调气质这一步一步都不能省。总的来说把通用大模型训练成行业模型CPT是一条绕不开的路。它的技术门槛确实存在但并没有高到只有大厂才能做。对很多企业来说想清楚自己的数据底盘和业务场景找一套合适的开源底座用今天文章里的方法小步快跑起来尽早做出一个真实可用的行业模型版本再通过使用反馈和数据积累去迭代比什么都重要。