之前在业务迭代中处理大模型上下文增强时我一直被同一个问题困扰检索回来的上下文明明很多模型却不知道该信哪些。多塞几段资料进去答案不仅没有更准反而容易被无关信息带偏。后来读到 Selective Context Preference Optimization 这个思路突然有一种“原来问题出在信任机制上”的感觉。本文就围绕这个方法展开从概念拆解到训练数据构造、DPO 流程简化实现再到评估思路和工程建议完整梳理一遍希望能给正在做 RAG、上下文增强或偏好对齐的读者一些可直接落地的启示。1. 背景与核心概念1.1 模型为什么需要上下文大语言模型LLM在训练时见过大量语料但它的知识存在“截止时间”和“覆盖面”两个天然限制。比如一个 2023 年训练的模型无法准确回答 2025 年发布的新产品信息一个以通用语料为主的模型在面对企业内部知识库、特定业务术语时回答质量也会明显下降。为了弥补这类问题业界最常用的做法就是“上下文增强”。简单来说就是在上游增加一个检索环节把和用户问题相关的文档片段、数据库记录、日志信息等拼接到 Prompt 里再交给模型生成回答。这个模式在 RAGRetrieval-Augmented Generation检索增强生成系统中非常常见。它的基本流程可以简化为用户问题 → 检索器Retriever → 候选文档片段 → 拼接上下文 → LLM 生成回答乍看起来这个链路很顺检索器负责“找资料”模型负责“读资料、写答案”。但问题恰恰出在“读资料”这一步。1.2 “多即是好”的假设为何失效很多初做 RAG 的同学会有一种直觉召回片段越多模型掌握的信息越充分答案应该越准。这个直觉在信息无冲突、无噪音的理想环境下成立但在真实业务中几乎不成立。真实检索结果通常包含以下几类干扰干扰类型表现对模型的影响无关片段召回结果与问题主题弱相关模型可能答非所问冗余片段多段内容重复表达同一件事模型被重复信息固化忽略其他线索过时片段旧版本规则覆盖新版本规则模型给出错误结论矛盾片段不同文档说法不一致模型生成内容前后不一致当这些干扰片段出现在上下文中时模型往往不是“忽略噪音”而是“照单全收”。原因在于模型在预训练阶段学到的模式是“上下文中的信息大概率是相关的”它默认信任上下文。一旦上下文质量下降生成质量也跟着下降。这里就引出了本文要讨论的核心问题模型应该如何判断“什么时候该信任上下文什么时候该忽略上下文”1.3 核心问题模型不知道何时该信任我们把问题再往深处拆一层。假设你给模型塞了 5 段上下文其中 3 段有用、2 段无关。理想情况下模型应该从 3 段有用信息中提取答案忽略 2 段无关信息不让它们干扰生成。但实际训练出来的模型往往是“上下文里有什么就用什么”缺少一个显式的“上下文相关性判断”机制。如果只是偶尔出错还可以通过改进检索器来缓解。但在真实业务中检索器的召回质量不可能 100% 可靠。更关键的场景是当上下文本身被有意或无意注入误导信息时模型是否还能坚持用自身知识或其他可靠上下文来回答这就要引入“选择性上下文”的概念模型不是对所有上下文一视同仁而是学会判断哪些上下文值得信任并基于可信信息生成答案。Selective Context Preference Optimization 就是在这个方向上的一个尝试。2. 方法核心思想拆解2.1 从“上下文消融”说起在讨论 Selective Context Preference Optimization 之前先看一个经典的对比实验思路——“上下文消融”Context Ablation。做法很简单把一段有用的上下文从 Prompt 中移除或者替换成无关上下文观察模型输出变化。输入 A有相关上下文 问题公司的年假制度是什么 上下文根据《员工手册》员工入职满一年后可享受 5 天年假。 输出入职满一年后可享受 5 天年假。 输入 B无相关上下文 问题公司的年假制度是什么 上下文今天的天气晴转多云。 输出无法从上下文中获取相关信息建议查阅公司制度。输入 A 和输入 B 的差异反映的是模型对上下文的依赖程度。如果模型在输入 B 下仍然按照某个固定模式“编造”年假制度那就说明它没有学会“上下文不可信时不盲从”。这种消融实验暴露出的问题正是偏好优化可以发挥作用的地方。2.2 把“何时信任”变成偏好学习问题Selective Context Preference Optimization 的核心思路是把“上下文信任”问题转化为一种偏好学习问题。在标准的偏好优化中你会构造一组组偏好对每一组包含chosen更受偏好的回答rejected不太理想的回答。模型学习的目标是提高生成 chosen 的概率降低生成 rejected 的概率。而 Selective Context Preference Optimization 的特别之处在于构造偏好对时不仅关注“哪个回答更好”还关注“在什么上下文条件下哪个回答更好”。具体来说对于同一个问题可以构造下面几类样本样本类型上下文情况期望模型行为类型一相关上下文 正确回答模型应利用上下文给出正确回答类型二无关上下文 正确回答模型应忽略上下文基于自身知识回答类型三相关上下文 错误回答模型不应被错误信息带偏应判断并纠正类型四无关上下文 错误回答模型应拒绝或忽略错误信息通过这样的数据设计模型不仅能学到“答案应该是什么”还能学到“上下文与答案之间的关系应该怎么处理”。这就是“Selective”选择性的含义不是无条件信任上下文也不是无条件忽略上下文而是根据上下文与问题的相关性动态决定信任程度。2.3 和标准 DPO 的区别很多读者对 DPODirect Preference Optimization直接偏好优化比较熟悉。这里有必要做一个对比。标准 DPO 的偏好对构建方式通常是同一个 Prompt 下两个模型回答。 回答 A 是人类标注或规则筛选出的更优回答。 回答 B 是相对较差的回答。它没有显式区分“上下文质量”这个维度。也就是说标准 DPO 学的是“在给定上下文下哪种回答更好”但并没有专门回答“这个上下文是否值得信任”的问题。Selective Context Preference Optimization 则将“上下文状况”作为一个关键维度纳入偏好对构造中。它通过故意构造“上下文与回答不匹配”“上下文与回答匹配”等不同组合让模型在训练中学会识别上下文的相关性从而更稳健地决定是否采纳上下文信息。简单总结标准 DPO给定上下文学习哪个回答更好。 Selective Context Preference Optimization给定不同质量的上下文学习在何时信任上下文何时忽略上下文。2.4 方法整体框架如果要把 Selective Context Preference Optimization 拆成一个训练流程大致可以分成四步第一步构造多上下文样本 - 对每个问题准备相关上下文、无关上下文、无上下文三类输入。 第二步生成候选回答 - 用当前模型分别生成不同上下文下的回答。 第三步构建偏好对 - 比较回答质量确定 chosen 和 rejected - 同时标记上下文类型形成“上下文-回答”联合偏好。 第四步偏好优化训练 - 用 DPO 或其变体优化模型让模型学会在不同上下文条件下产出正确回答。2.5 与“上下文压缩”“提示词工程”的关系网上还经常能看到“上下文压缩”“提示词工程”这类方法。它们和 Selective Context Preference Optimization 处于不同层面上下文压缩在进入模型前先对检索结果做裁剪、去重、摘要等处理目标是减少噪音本质上是在“输入侧”解决问题。提示词工程通过调整 Prompt 指令让模型更关注上下文例如写“如果上下文无关请忽略”本质上是在“指令侧”做文章。Selective Context Preference Optimization直接在“训练侧”教会模型何时信任上下文效果更稳定但成本也更高。三者并不冲突甚至可以组合使用。对于已经在做 RAG 的团队可以先从提示词工程和上下文压缩入手再考虑用偏好优化做更深层的对齐。3. 训练数据构造核心难点与代码示例3.1 数据格式设计要进行 Selective Context Preference Optimization 训练我们需要把训练数据组织成模型能够理解的结构。下面给出一种可供参考的数据格式。{ question: 员工入职多久可以享受年假, contexts: [ { context_id: ctx_001, text: 根据《员工手册》员工入职满一年后可享受 5 天年假。, relevance: relevant }, { context_id: ctx_002, text: 今天天气晴转多云适合户外活动。, relevance: irrelevant } ], responses: [ { response_id: resp_001, text: 入职满一年后可享受 5 天年假。, label: chosen }, { response_id: resp_002, text: 员工需要在入职当天申请年假。, label: rejected } ], metadata: { source: employee_handbook, task_type: qa } }可以看到每条样本不仅包含问题和回答还显式标记了上下文的“相关性”relevance以及回答的“偏好标签”label。这样的结构方便后续做数据筛选、分析和可视化。3.2 构造“相关上下文-正确回答”样本这是最常规的样本类型目标是让模型学会当上下文相关且可靠时应基于上下文生成答案。# 文件路径data_builder.py import json from typing import List, Dict def build_relevant_sample( question: str, relevant_context: str, good_answer: str, bad_answer: str ) - Dict: 构造相关上下文下的偏好样本。 return { question: question, contexts: [ { context_id: ctx_relevant_001, text: relevant_context, relevance: relevant } ], responses: [ {response_id: resp_good, text: good_answer, label: chosen}, {response_id: resp_bad, text: bad_answer, label: rejected} ], metadata: { sample_type: relevant_context, source: synthetic } } if __name__ __main__: sample build_relevant_sample( question公司的年假制度是什么, relevant_context根据《员工手册》员工入职满一年后可享受 5 天年假。, good_answer入职满一年后可享受 5 天年假。, bad_answer员工可以在入职当天申请 10 天年假。 ) print(json.dumps(sample, ensure_asciiFalse, indent2))这段代码看起来简单但它背后的目的是让模型看到“上下文与答案一致”时应该放心参考上下文。3.3 构造“无关上下文-正确回答”样本这是 Selective Context Preference Optimization 的关键样本。模型需要学会上下文虽然存在但和问题无关时要忽略它依靠自身知识或常识回答。# 文件路径data_builder.py 中追加 def build_irrelevant_sample( question: str, irrelevant_context: str, good_answer: str, bad_answer: str ) - Dict: 构造无关上下文下的偏好样本。 return { question: question, contexts: [ { context_id: ctx_irrelevant_001, text: irrelevant_context, relevance: irrelevant } ], responses: [ {response_id: resp_good, text: good_answer, label: chosen}, {response_id: resp_bad, text: bad_answer, label: rejected} ], metadata: { sample_type: irrelevant_context, source: synthetic } } if __name__ __main__: irrelevant_sample build_irrelevant_sample( question公司的年假制度是什么, irrelevant_context今天的天气晴转多云适合户外活动。, good_answer公司实行年假制度具体天数需参考员工手册通常入职满一年后可享受带薪年假。, bad_answer今天的天气晴转多云适合户外活动。 ) print(json.dumps(irrelevant_sample, ensure_asciiFalse, indent2))在这个例子里chosen 回答并没有被无关的天气信息“带跑偏”而是回到问题本身进行回答rejected 回答则直接复制了无关上下文明显是错误行为。3.4 构造“误导上下文-纠错回答”样本更进一步的样本类型是故意在上下文中放入错误信息期望模型能识别并拒绝错误信息。# 文件路径data_builder.py 中追加 def build_misleading_sample( question: str, misleading_context: str, correct_answer: str, wrong_answer: str ) - Dict: 构造误导上下文下的偏好样本。 return { question: question, contexts: [ { context_id: ctx_misleading_001, text: misleading_context, relevance: misleading } ], responses: [ {response_id: resp_correct, text: correct_answer, label: chosen}, {response_id: resp_wrong, text: wrong_answer, label: rejected} ], metadata: { sample_type: misleading_context, source: synthetic } } if __name__ __main__: misleading_sample build_misleading_sample( question公司的年假制度是什么, misleading_context根据内部通知员工没有年假。, correct_answer根据公司制度员工通常享有带薪年假具体天数以员工手册为准。, wrong_answer根据内部通知员工没有年假。 ) print(json.dumps(misleading_sample, ensure_asciiFalse, indent2))这里“misleading”标记是我为了表达“上下文与事实不符”而设计的实际项目中你可以根据业务定义更细的标签体系例如outdated、contradictory等。3.5 数据质量控制的经验数据构造完成后不能直接用于训练还需要做几道质检先小批量人工检查确认 chosen 回答确实优于 rejected 回答区分“上下文相关”和“回答正确”两个维度避免把二者混为一谈保证不同类型样本比例均衡避免模型偏向“永远信任”或“永远忽略”尽量覆盖多种业务场景增强泛化能力。如果你使用自动标注建议同时输出置信度分数方便后续剔除低质量样本。4. 基于 DPO 的简化训练实现4.1 环境依赖下面给出一个简化版训练流程示例用于演示 Selective Context Preference Optimization 的实现思路。代码基于 Python 3.10、PyTorch 2.x、Transformers 和 TRL 库。pip install torch transformers datasets trl peft accelerate需要说明的是这里的实现是“示例思路”不是论文官方实现具体 API 和超参需要结合你的模型版本和硬件环境调整。4.2 加载模型与 Reference ModelDPO 训练通常需要两个模型policy model策略模型需要被优化的模型reference model参考模型用于计算 KL 散度防止策略模型偏离原始分布太远。# 文件路径train_dpo.py from transformers import AutoModelForCausalLM, AutoTokenizer model_name Qwen/Qwen2-0.5B-Instruct policy_model AutoModelForCausalLM.from_pretrained(model_name) ref_model AutoModelForCausalLM.from_pretrained(model_name) tokenizer AutoTokenizer.from_pretrained(model_name) tokenizer.pad_token tokenizer.eos_token实际项目中模型大小、显存大小、batch size 等因素都需要综合考虑。如果你的机器显存有限可以把模型量化加载或者使用 LoRA 等参数高效微调方法。4.3 数据预处理把上一节构造好的 JSON 数据转换成 DPO 训练所需的格式。每一行样本需要包含prompt包含问题与上下文的格式化文本chosen较优回答rejected较差回答。# 文件路径prepare_dataset.py def format_prompt(question: str, context: str) - str: 将问题和上下文格式化为统一 Prompt。 if context: return f问题{question}\n上下文{context}\n请根据上下文回答问题 return f问题{question}\n请回答问题 def convert_to_dpo_format(raw_data: list) - list: 将原始数据转换为 DPO 训练格式。 dpo_data [] for item in raw_data: question item[question] context item[contexts][0][text] chosen [r[text] for r in item[responses] if r[label] chosen][0] rejected [r[text] for r in item[responses] if r[label] rejected][0] dpo_data.append({ prompt: format_prompt(question, context), chosen: chosen, rejected: rejected }) return dpo_data这一步是数据处理的关键一方面要保留“上下文条件”另一方面要把偏好标签转换为模型可学习的格式。4.4 DPO 训练简化代码在 TRL 库中可以直接使用DPOTrainer来简化训练流程。# 文件路径train_dpo.py from trl import DPOTrainer, DPOConfig from datasets import Dataset from transformers import TrainingArguments raw_data [...] # 从 JSON 文件加载 dpo_data convert_to_dpo_format(raw_data) dataset Dataset.from_list(dpo_data) training_args TrainingArguments( output_dir./dpo_output, per_device_train_batch_size1, max_steps200, learning_rate5e-5, logging_steps10, save_steps50, remove_unused_columnsFalse, ) dpo_trainer DPOTrainer( modelpolicy_model, ref_modelref_model, argstraining_args, train_datasetdataset, tokenizertokenizer, beta0.1, ) dpo_trainer.train()这里的beta是 DPO 中控制 KL 惩罚强度的超参数。beta越大模型偏离参考模型的程度越小训练越保守beta越小模型越激进去迎合偏好数据。具体取值要根据实验效果调整。4.5 训练后的验证思路训练结束后不能只看 loss 下降还要在专门的验证集上检查模型行为是否符合预期。可以设计三类验证用例验证类型输入示例期望输出有相关上下文问题 相关片段利用上下文正确回答有无关上下文问题 无关片段忽略上下文基于自身知识回答有误导上下文问题 错误片段拒绝采纳错误信息给出合理回答如果模型在“有无关上下文”时仍然容易被带偏说明训练数据中这类样本不足或者需要调整样本比例。5. 评估方式与实验结果观察5.1 该关注哪些指标对于 Selective Context Preference Optimization 这类方法单一指标往往不足以反映模型能力。建议从三个层面评估第一答案正确性。这是最基础的指标可以通过人工标注或规则判断作答是否正确。第二上下文跟随率。统计模型在“相关上下文”下正确参考上下文的概率以及“无关上下文”下忽略上下文的概率。这个指标直接体现了“选择性信任”能力。第三鲁棒性。在上下文中加入噪音、矛盾信息、无关信息后模型回答质量的波动程度。5.2 一个简单的评估脚本下面给一个简易评估脚本用于计算模型在“相关上下文”和“无关上下文”下的表现差异。# 文件路径evaluate.py def evaluate_model(model, tokenizer, eval_set): 简化版评估计算上下文跟随正确率。 relevant_correct 0 relevant_total 0 irrelevant_correct 0 irrelevant_total 0 for sample in eval_set: question sample[question] context sample[context] relevance sample[relevance] expected_keyword sample[expect_keyword] prompt f问题{question}\n上下文{context}\n请回答 outputs model.generate( **tokenizer(prompt, return_tensorspt), max_new_tokens32 ) answer tokenizer.decode(outputs[0], skip_special_tokensTrue) if relevance relevant: relevant_total 1 if expected_keyword in answer: relevant_correct 1 elif relevance irrelevant: irrelevant_total 1 if expected_keyword in answer: irrelevant_correct 1 print(f相关上下文正确率: {relevant_correct / relevant_total:.2%}) print(f无关上下文正确率: {irrelevant_correct / irrelevant_total:.2%})实际评估时你需要根据业务场景定义“正确”的标准。比如在相关上下文下如果模型回答包含正确答案关键词就算正确在无关上下文下即使模型没有给出完美答案只要没有照搬无关上下文也算合格。5.3 预期观察到的现象经过 Selective Context Preference Optimization 训练通常可以观察到相关上下文下的回答准确率保持稳定或略有提升无关上下文下的“被带偏率”明显下降模型对上下文的利用变得更有“判别性”不再是无脑跟随。当然具体效果取决于数据质量、模型规模和训练参数。如果训练数据中不包含足够多的“无关上下文”样本模型很可能只会学到“更听上下文的话”而没有学会“选择性忽略”。5.4 和基线方法对比评估时建议至少和下面两个基线做对比原始模型不做偏好优化标准 DPO 训练后的模型。如果 Selective Context Preference Optimization 有效在“无关上下文”场景下的表现应该明显优于这两个基线而在“相关上下文”场景下不应该有明显退化。6. 常见问题与排查思路6.1 模型完全不理会相关上下文问题现象即使提供了相关上下文模型仍然无视上下文只靠自身知识回答。常见原因训练数据中“无关上下文”样本过多模型被过度引导向“忽略上下文”方向。解决思路降低“无关上下文”样本比例增加“相关上下文”样本数量检查 Prompt 是否清晰说明了上下文的作用。6.2 模型仍然被误导上下文带偏问题现象上下文中包含错误信息时模型仍然按照错误信息作答。常见原因训练集中缺少“误导上下文-纠错回答”样本类型模型容量或训练步数不足尚未学会识别矛盾信息。解决思路增加误导上下文样本适当增大beta值让模型更贴近参考模型检查数据中 chosen 回答是否真的能抵抗误导。6.3 训练 loss 下降但评估指标没有改善问题现象DPO loss 在下降但人工评估或验证集上的指标没有明显变化。常见原因偏好对本身区分度不够chosen 和 rejected 之间的差异太小模型没有学到有效信号。解决思路提高偏好对之间的质量差距增加人工复核环节使用更细粒度的评估指标例如分场景统计。6.4 数据构建工作量太大问题现象人工构造“相关/无关/误导”三种上下文样本成本很高。解决思路先从公开 SFT 数据中筛选问题再用 LLM 自动生成相关和无关上下文用规则清洗和关键词过滤减少人工标注量优先构造 100~300 条高质量种子数据验证方法可行性后再扩大规模。我们可以把常见问题整理成一张表问题现象常见原因解决思路模型忽略相关上下文无关上下文样本过多调整样本比例模型被误导信息带偏缺少误导样本或训练不足增加误导样本调整 betaLoss 下降但效果不变偏好对区分度不够提高数据质量数据标注成本高人工构建样本耗时使用 LLM 辅助生成人工复核7. 最佳实践与工程建议7.1 数据层面先小规模验证再扩大不要一开始就构建上万条数据。先用几百条高质量样本完成一轮训练人工评估效果。如果方法有效再扩大数据规模和覆盖面。这个“小步快跑”的思路可以帮你节省大量标注成本。7.2 训练层面注意超参和模型选择DPO 训练中beta和学习率是最需要关注的超参数。建议先做几组小规模对比实验观察不同beta下模型对上下文的信任程度变化不同学习率下训练是否稳定训练步数是否足够是否出现过拟合。7.3 评估层面分场景建立评测集一个完整的评测集应该至少包含四类场景1. 相关上下文 正确知识 2. 相关上下文 误导信息 3. 无关上下文 模型自身知识可回答 4. 无关上下文 模型自身知识不可回答每一类场景都应设置具体的通过标准不能只用一个准确率指标覆盖所有情况。7.4 安全与合规层面涉及上下文的模型优化需要特别注意安全边界训练数据来源必须合法合规避免采集未经授权的内部文档如果方法用于生产环境建议增加上下文来源标注和人工复核机制对用户输入中的恶意指令保持警惕不建议在公开文档中提供绕过模型安全限制的方法。7.5 上线前检查清单□ 训练数据是否经过人工抽检 □ 不同上下文场景下的评测集是否覆盖完整 □ 是否对比了原始模型、标准 DPO 和 Selective Context Preference Optimization □ 是否检查了过拟合情况 □ 是否设置了合理的日志和监控 □ 是否有回滚方案实际项目中我见过太多团队在模型效果评估上只关注“标准测试集准确率”却忽略了“上下文扰动下的鲁棒性”。这恰恰是 RAG 类业务最容易踩坑的地方。8. 总结与下一步Selective Context Preference Optimization 给我的最大启发是它把“上下文质量”和“回答质量”分开来思考。传统偏好优化关注的是“哪个回答更好”而它进一步追问“在什么上下文条件下这个回答才算好”以及“模型是否知道什么时候该忽略上下文”。本文从概念、数据构造、训练实现、评估思路和工程建议几个方面做了完整拆解。核心要点可以总结为模型需要上下文但不需要无脑信任上下文通过构造“相关/无关/误导”多种上下文下的偏好对可以让模型学会选择性信任实现路径可以直接复用 DPO 框架关键在于数据处理质量评估时要分场景不能只看单一准确率指标。下一步可以继续深入的方向包括将 Selective Context Preference Optimization 与上下文压缩、重排序结合形成完整 RAG 优化链路探索更细粒度的上下文相关性标签例如“局部相关”“部分过时”“跨文档矛盾”在更大模型上验证方法效果并对比不同偏好优化算法的差异尝试引入在线反馈数据让模型在真实业务环境中持续迭代“信任策略”。如果你正在做 RAG 相关的项目建议先手写几十条“无关上下文 正确回答”“误导上下文 纠错回答”的样本在你当前的模型上做一次小规模 DPO 实验观察模型在上下文扰动下的表现变化。这个实验成本不高但对理解“上下文信任机制”非常有帮助。