围绕 LLM 安全治理现在的共识是不能只做输入过滤和输出过滤。输入侧可以消毒提示词输出侧可以拦截风险文本但模型生成过程中的轨迹仍然近乎黑盒。复杂任务中模型可能在某一步产生事实偏差、指令偏离或不合规表达等整段输出完成后才发现已经晚了。StepGuard 的核心主张是把护栏从整段文本边界下沉到步骤级在生成过程中逐步评估、逐步干预同时用可扩展的监督信号缓解人工标注瓶颈并通过 Safety-Utility 平衡策略避免过度安全导致模型能力退化。StepGuard 要落地其实要解决三个工程问题。第一生成过程的步骤如何定义和切分这是所有细粒度护栏的基础。第二步骤级的安全标注从哪里来完全依赖人工标注在真实场景中不可持续。第三安全拦截和任务效果如何平衡拦得太松会漏放风险拦得太紧会让用户觉得模型变得迟钝、泛化或答非所问。下面按概念、监督信号、平衡策略、工程实现、评估、排错和生产落地几个层次展开最终给出一个可以直接作为原型的工程框架。1. 步骤级护栏要解决什么问题1.1 输入输出过滤为什么不够常规 LLM 应用会在请求进入时做一次内容过滤在响应返回前再做一次过滤。这种方案实现简单能挡住大量明显违规内容但它有三个本质盲区。第一个盲区是局部风险无法被整体判断召回。比如模型在某个中间步骤输出了具有攻击性的表述但后续步骤又把它改写成了看似缓和的文本整段输出在关键词层面不触发规则却仍然蕴含攻击意图。用户看到的是微妙的内容系统看到的是正常的字符串。第二个盲区是模型走偏之后的恢复成本。如果系统在模型准备生成虚假信息的第一步就能发现可以用系统指令或约束重新引导但如果等一整段生成结束再做拦截系统只能整段丢弃或重试。这会显著抬高计算成本也容易让用户对产品失去耐心。第三个盲区是规则检测对语义安全的覆盖能力有限。很多风险不是由固定词触发的而是由上下文组合出来的。输入输出过滤通常依赖关键词列表或文本分类器对跨句、跨实体、跨步骤的隐含风险召回率很难保证。StepGuard 的思路是把安全判断从一次性的文本边界检查变成生成轨迹上的连续检查。1.2 步骤级护栏的职责边界步骤级护栏不是一个独立模型而是生成链路中的一个控制模块。它在模型每生成一个步骤后介入做三件事判断当前步骤是否存在安全风险输出风险等级或二分类标签如果安全放行并把该步骤追加到已生成内容中继续下一步如果不安全触发回退或改写策略而不是简单终止整个任务。最后一点值得展开。StepGuard 在处理风险时不只是拒绝或终止而是可以给生成器一个纠错反馈。这样既能避免不安全内容进入最终输出又能保留任务继续完成的可能性。它和传统内容审核的区别在于传统审核是最终结果判定StepGuard 更像过程纠偏。1.3 为什么要在步骤层面做步骤在语言模型里并不天然存在。对单轮对话来说一次回答可以切分成多个语义段对 Agent 任务来说一个步骤可能是一次工具调用或一次中间推理对长文本写作来说一个步骤可以是一个段落或一个论点。因此步骤切分本身需要先定义。之所以强调 step-level是因为很多安全风险具有累积性。单独看任何一步可能都中性把几步连起来看才发现模型正在被诱导执行敏感操作。步骤级护栏的另一个价值是能定位到问题发生在哪一步而不是只报告最终结果不合格。这为日志审计、训练数据分析和责任追溯提供了非常直接的帮助。工程上步骤粒度一般有两种模型显式输出结构化步骤例如带thought和action字段的 Agent 轨迹此时直接对字段做评估模型只输出连续 token此时需要先用切分器把文本切成语义块再逐块评估。对比维度输入输出过滤步骤级护栏判断时机生成前和生成后生成过程中输出粒度整段文本单步或语义块干预方式拦截整个请求或响应放行、改写、回退、终止延迟开销较低相对更高需要精细设计适用场景低风险、量级大的场景高风险、长流程、Agent 场景归因能力弱强可定位到具体步骤2. 可扩展监督步骤级标签从哪里来2.1 人工标注步骤级安全的代价如果对每个生成步骤都要求人工标注安全标签成本会迅速超出可承受范围。训练数据中哪怕只有几万条生成轨迹切分后的步骤数量也会达到几十万甚至上百万。而且安全标签的判定不是简单的二分类同一句话在不同上下文中风险程度可能完全不同不同标注者对边缘风险的判断也很难一致。因此StepGuard 在设计中必须回答监督信号怎么扩展这个问题。核心目标是用有限的、有噪声的标签训练出可用的步骤级安全模型。2.2 结果监督向过程监督迁移一种自然的扩展方式是不直接标注每个步骤而是标注整条轨迹的最终结果是否安全然后再反向为步骤生成代理标签。具体做法可以是如果最终结果被判定为安全那么过程中大多数步骤也可以视为安全只有那些被后续修正的步骤可能存在问题如果最终结果不安全则通过对比安全轨迹和不安全轨迹找出关键分叉点也就是模型从安全走向不安全的转折步骤。这种方法能快速拿到大量弱标签但噪声较高。原因是最终结果的安全并不等价于每个步骤都安全中间可能出现过风险又被纠正的情况。实际项目中更稳妥的是混合策略先自动生成弱标签再对高风险、低置信度样本做人工复核。这样既能控制成本又能保证关键部分的标签质量。下面是一段用于生成弱标签的示例逻辑按整条轨迹最终结果反推步骤标签def infer_step_weak_labels(trajectory, final_label): # trajectory: [step1, step2, ..., stepN] # final_label: 0 表示最终结果安全1 表示最终结果不安全 weak_labels [] for i, step in enumerate(trajectory): if final_label 1: # 结果不安全时越靠后的步骤风险可能越高但这一步不是绝对规则 weak_labels.append(step_risk_heuristic(step, i, len(trajectory))) else: # 结果安全时默认步骤安全若存在人工修正标记则单独处理 weak_labels.append(0) return weak_labels这种弱标签的价值在于批量生产但它只能作为初始训练信号不能替代人工复核。2.3 从更强模型蒸馏另一种可扩展路线是使用更强的模型给步骤打分再把分数蒸馏到轻量级模型中。生产环境的 LLM 通常不会只有一个模型可以让一个较大的教师模型在离线阶段完成步骤级安全打分、风险理由生成和安全偏好排序然后让小模型学习这些输出。教师模型打分的好处是它可以在步骤级提供相对稳定的判断并生成一句解释。解释不仅能用于训练还能在后期做审计时说明为什么这一步被拦。代价是教师模型本身的判断也可能出错所以需要定期抽样评估教师模型的准确率并把人工复核后的样本重新加入训练集形成持续迭代。2.4 规则信号和用户反馈作为辅助除了模型蒸馏还可以引入规则信号。PII 识别、敏感词库、正则表达式、工具调用参数异常检测都能产生弱标签。规则信号通常比较粗糙但非常适合作数据筛选和主动学习的种子。用户反馈则更接近真实线上信号。当用户对模型输出点击不感兴趣、举报或投诉时这些反馈按时间戳对齐到当时的生成轨迹就能成为天然的弱标签来源。这里的前提是线上系统要把反馈落库并且保留 prompt、步骤轨迹和最终输出否则事后无法回溯。监督信号类型获取成本标签质量适用场景人工步骤标注高高核心种子集、边界样本结果反推弱标签低中低冷启动、大规模预训练大模型蒸馏中中高持续迭代、理由生成规则信号低低预筛选、主动学习用户反馈低中线上闭环、fine-tune3. Safety-Utility Balancing安全与效果不能单点优化3.1 过度安全会让模型失真如果只追求安全指标很容易出现一种情况模型对任何稍有风险的问题都一律拒绝或者生成内容变得极其保守。用户会发现模型越来越难用明明是一个正常问题也会被当作风险拦截。这种现象的本质是安全目标和效用目标存在冲突。StepGuard 强调 Safety-Utility Balancing就是要把安全目标和任务完成效果放在同一个优化框架里考虑而不是先训练一个安全模型再叠加在生成链路中。3.2 如何定义 Utility在训练步骤级护栏时Utility 通常指两类指标。任务完成类指标包括回答准确性、指令遵循率、工具调用成功率。体验类指标包括回答长度、拒绝率、用户继续对话的比例。不同产品对两者的侧重不同需要产品方先定义自己的效用指标。没有明确的效用定义Safety-Utility Balancing 就只能停留在口号层面。3.3 平衡方法一加权多目标损失如果护栏模块通过训练一个分类器实现可以在损失函数中加入效用相关项或者通过样本加权来调节。比如对低风险但高价值的步骤给分类器更低的拦截倾向对高风险的步骤给更高的拦截倾向。训练目标可以简化为L alpha * L_safety beta * L_utility其中alpha和beta控制安全目标与效用目标的相对权重。这里要注意L_utility的具体形态和业务指标强相关建议先用离线数据模拟不同权重下的误拦率和召回率再决定最终取值。3.4 平衡方法二推理期的阈值与回退策略训练阶段无法完全解决的权衡问题可以在推理期用策略缓解。比较实用的做法是设置多档风险阈值低风险放行但记录日志中风险改写当前步骤重新生成高风险终止当前步骤必要时切换到人工处理。通过调节档位阈值可以在上线后根据安全事件率和用户投诉率做动态调整。这也是最容易被工程团队接受的方案因为它不改变模型权重只改变线上决策规则回滚也简单。3.5 平衡方法三把护栏做成反馈信号而非硬拦截StepGuard 的一个关键设计选择是可以让护栏输出建议性信号给生成器而不是直接终止。比如护栏检测到当前步骤存在事实性风险不直接丢弃整段而是给生成器一条提示上一步存在事实性风险请基于可信来源重写当前步骤。这种软约束比硬拦截更容易保持任务连续性也不容易让用户觉得模型被过度限制。工程上软约束通常通过修改系统提示词或给生成器附加纠错指令实现成本低效果好适合作为第一版方案。4. 最小工程框架数据、模型、推理三个层面4.1 数据表示把生成过程切成步骤先看两种步骤数据格式。第一种是流水式输出模型直接输出文本需要切分。切分可以按句号、换行、语义段落进行也可以配合编码器模型的输入长度上限做合并def split_into_steps(text: str, max_chars: int 120) - list[str]: # 先按换行和句号拆出候选块 import re parts re.split(r[\n。!?], text) steps [] current for part in parts: part part.strip() if not part: continue if len(current) len(part) max_chars and current: steps.append(current) current part else: current current 。 part if current else part if current: steps.append(current) return steps第二种是结构化轨迹模型在输出中包含可见的thought和action字段。这种场景不需要切分数据样本可以直接组织成下面的 JSON 格式{ id: sample_001, prompt: 帮我查一下某城市本周的天气并判断是否适合出行。, steps: [ { step_id: 1, type: thought, content: 用户需要天气信息需要调用天气查询工具。, safety_label: 1, utility_label: 1 }, { step_id: 2, type: action, content: weather.query(city\某城市\, date\本周\), safety_label: 1, utility_label: 1 } ] }这里把safety_label和utility_label分开保存是因为两者并不总是同向变化。一个步骤可能安全但低效用也可能高效用但存在边缘风险。分开打标训练时可以分别控制。4.2 训练一个步骤级安全分类器最小实现可以使用一个编码器模型例如bert-base-chinese或roberta-base。输入为原始 prompt 历史步骤 当前步骤输出为风险二分类或风险等级。from transformers import AutoTokenizer, AutoModelForSequenceClassification model_name bert-base-chinese tokenizer AutoTokenizer.from_pretrained(model_name) model AutoModelForSequenceClassification.from_pretrained( model_name, num_labels2 ) def encode_sample(prompt, history_steps, current_step): text prompt \n \n.join(history_steps) \n current_step return tokenizer( text, truncationTrue, max_length512, paddingmax_length, return_tensorspt )训练时如果需要体现 Safety-Utility 平衡可以在损失函数里对高风险样本加权import torch # 假设 labels: 0 表示安全1 表示高风险 class_weights torch.tensor([1.0, 2.0]) loss_fn torch.nn.CrossEntropyLoss(weightclass_weights)这里把高风险样本的权重调高会让模型更重视风险步骤。但权重不能设置得过大否则误拦率会随之上升。建议先做一个小规模实验观察不同权重下召回率和误拦率的变化曲线。4.3 推理时接入生成链路生成器每次产生一个步骤后调用护栏模块。这里给出一个流程示意def generate_with_guardrail(prompt, generator, guardrail, max_steps10): history [] for step in range(max_steps): next_step generator.generate_next(prompt, history) decision guardrail.evaluate(prompt, history, next_step) if decision high_risk: # 尝试改写一次改写不成功则终止 next_step guardrail.revise(next_step) if next_step is None: break elif decision medium_risk: # 重新生成当前步骤 next_step generator.regenerate(prompt, history) history.append(next_step) return historyguardrail.evaluate内部要做两件事先跑分类器得到风险概率再应用阈值规则。实际生产中不要把revise和regenerate混在一个模块里要在架构上隔离避免护栏逻辑过多影响主生成器的稳定性。4.4 评估指标步骤级评估建议关注四类指标步骤级安全准确率所有步骤中分类正确的比例高风险步骤召回率真实高风险步骤中被拦截或改写出来的比例正常步骤误拦率安全步骤被判定为风险并触发干预的比例最终输出效用指标回答准确率、完整率、用户继续对话率等。指标计算方式关注点步骤级准确率正确分类步骤数 / 总步骤数整体分类质量高风险召回率检出高风险步骤数 / 实际高风险步骤数漏放风险正常步骤误拦率误拦安全步骤数 / 安全步骤总数过度干预最终输出成功率成功完成任务数 / 测试任务总数Safety-Utility 平衡5. 验证方法和效果分析5.1 离线测试集怎么构造离线测试集要覆盖四类典型场景明显违规、上下文诱导、事实性风险、正常复杂任务。如果只测关键词或者只测明显有害内容评估结果很容易虚高。比较有效的做法是构造安全但看起来像风险的样本。比如医疗建议、金融问答、未成年人相关话题这类内容大多数是合法的但很容易被护栏误判。把这些样本放进测试集能更真实地反映误拦率。5.2 红队测试与对抗样本红队测试的核心目标是找边界。可以让不同角色的人尝试绕过护栏例如角色扮演、换语言、把敏感指令拆成多个步骤等。对失败样本要做归因定位到具体步骤再补充到训练集。红队样本建议按攻击路径分类存放。比如逐步诱导、角色扮演、多语言转换、代码伪装等类别。每类至少保留一组固定样本用于回归测试防止新版本护栏在修复一类问题的同时破坏另一类能力。5.3 预期输出与结果分析评估报告可以按下面的表格组织测试类别样本数高风险步骤召回率正常步骤误拦率最终任务成功率明显违规20098%1%88%上下文诱导20092%4%81%事实性风险20085%6%79%正常复杂任务400-3%94%如果高风险步骤召回率低说明护栏漏放严重需要补充风险样本或提高拦截权重如果误拦率高说明 Utility 受损需要降低阈值或增加中风险改写策略。评估的目标不是追求某一个指标最大而是在四个指标之间找到可接受区间。6. 常见问题与排查6.1 护栏频繁误拦正常对话现象正常问题被中断、改写或直接拒绝回答。可能原因有三个。第一训练数据中安全样本与风险样本分布不均模型把某些正常句式当成了风险信号。第二风险阈值设置过严低风险概率也被判定为高风险。第三输入拼接过长历史步骤占满了上下文分类器看不到足够信息。排查顺序是先查看误拦样本的原始输入和分类器 logits确认是输入问题还是阈值问题再统计误拦样本的文本特征看是否存在共同关键词或句式。解决方式是调整阈值补充正常步骤样本或对边缘风险使用中风险改写而不是直接拦截。6.2 步骤分类器对上下文不敏感现象同一句话单独看是安全的放在特定上下文中有明显风险但分类器放行了。原因是输入只包含当前步骤没有拼接原始 prompt 和历史步骤。步骤级安全判断必须依赖上下文至少要包含 prompt、最近几步和当前步骤。如果长度超限可以做历史摘要或只保留最近 N 个关键步骤不要直接丢弃全部历史。6.3 监督信号噪声大现象教师模型或弱标签标注结果与人工抽查一致性低训练出来的护栏在线上表现不稳定。检查方式是对已标注样本做抽样复核计算弱标签与人工标签的一致率。常见解法包括对低置信度样本不进入训练集对高风险类别提高人工复核比例把弱标签作为预训练信号再用人工精标数据做微调。6.4 推理延迟过高现象接入护栏后整体生成变慢用户等待时间明显增加。原因是每个生成步骤后都调用大模型评估或者步骤切分过细评估次数过多。推荐做法是使用小而快的编码器分类器作为一阶段过滤只有低置信度样本才调用大模型复核。还可以按风险等级做采样低风险步骤随机抽样评估高风险场景全量评估。6.5 护栏版本更新后行为漂移现象灰度阶段安全事件和误拦率同时变化无法判断是模型问题还是策略问题。原因是护栏模型和阈值配置没有解耦同一个版本中无法单独定位。解决方式是给护栏模型和策略配置分别编号上线前跑同一套回归数据集记录每个版本在相同样本上的指标变化。如果模型没变、阈值变了指标变化说明是配置问题如果模型变了则需要比较新旧模型在回归集上的输出差异。7. 生产落地建议与扩展方向7.1 学习环境、测试环境和生产环境的差异StepGuard 从原型走向上线环境差异非常大。学习环境可以用小模型、小数据集跑通流程理解数据格式和推理链路即可。测试环境需要更大的标注集、红队用例、回归集并固定评估口径。生产环境还需要额外关注配置外置化、日志审计、版本回滚、监控告警以及人工处理通道。维度学习/本地环境测试环境生产环境模型规模小模型即可与生产一致按性能要求选型数据集几百条几千到几万条持续回流更新阈值策略固定阈值多档阈值验证可配置、可灰度日志控制台输出完整落库审计级日志回滚重新运行重新评估版本切换人工处理可选必须设计必须有 SLA7.2 落地检查清单上线 StepGuard 前建议按下面这份清单逐项确认数据层步骤切分规则已定义轨迹数据已落库prompt 和步骤字段完整标注层弱标签生成流程已建立人工复核比例明确高风险样本全覆盖训练层安全标签与效用标签分离训练集和回归集隔离不混用线上数据推理层阈值可配置高、中、低风险档位有明确动作回退策略有兜底评估层离线指标、红队用例、线上指标三项对齐避免只看单一指标监控层每一步的拦截原因、改写次数、最终结果全部记录能按任务归因回滚层护栏模型和策略配置都有独立版本线上可快速回退。7.3 扩展方向StepGuard 的 step-level 思路可以扩展到更多场景。Agent 系统是其中一个方向。每次工具调用也是一个步骤护栏可以判断工具参数是否存在越权、注入或不符合用户授权范围的风险。多模态场景中可以把图片、代码、表格作为步骤评估对象。在线学习也是一个方向当用户反馈回流后系统可以定期用增量数据更新护栏模型让安全策略跟随真实风险变化。对刚起步的团队建议先用一个简单的二分类器在单一生成轨迹上跑通 StepGuard 的完整流程先不追求复杂的蒸馏和多目标优化。跑通之后再根据实际线上数据逐步加入弱标签、教师模型蒸馏、阈值动态调整和红队回归。这样能最快地判断问题出在数据、模型还是策略上而不是一开始就搭建一个很难调试的复杂系统。