Aligning Large Language Model Agents with Rational and Moral Preferences: A Supervised Fine-Tuning Approach论文重点本文由四位经济学与计量经济学领域的学者Wei Lu、Amit Dhanda、Daniel L. Chen、Christian B. Hansen合作完成系统性地揭示了GPT-4o等现成LLM在策略性经济博弈中存在「过度合作」和「对激励反应不足」的系统性偏差。核心贡献是提出了一套基于监督微调Supervised Fine-Tuning的对齐框架——利用经济学理论生成小型合成数据集将LLM智能体的行为对齐到两种明确的偏好结构追求自利的homo economicus和纳入康德式普遍化原则的homo moralis。研究表明微调后的智能体在道德困境Moral Machine和重複双头垄断定价场景中产生了系统性差异化的均衡结果和定价动态。核心研究内容问题定义随着LLM被越来越广泛地部署为市场和组织中的自主智能体它们的策略性行为开始产生实质性的经济影响。然而现有的AI对齐方法如RLHF主要针对辅助型、单一智能体的对话场景设计侧重于「有用、诚实、无害」等安全规范。当LLM进入组织或市场环境中与其他智能体进行策略性互动时决策受到明确的激励结构和对其他智能体行为的信念所塑造——而反馈式对齐方法无法直接编码这些报酬结构或均衡考量。本文将对齐重新概念化为一个「部署前设计问题」不是问输出是否符合事后评估而是问智能体在进入策略性环境之前嵌入了什么样的偏好结构。创新方法理论驱动的合成数据生成研究者在经典博弈序贯囚徒困境、信任博弈、最后通牒博弈中求解两种效用规格下的最优策略——homo economicus仅最大化自身报酬而homo moralis在自利基础上纳入康德式普遍化考量「什么是对的事」——并将这些「效用隐含的推理与策略」作为微调的训练数据。轻量级监督微调使用GPT-4o2024-08-06作为基底模型在理论驱动的小型合成数据集上进行微调。与RLHF等需要大量人类标註的複杂方法不同这种方法成本低、可複製且可解释。跨域泛化验证将微调后的智能体应用于两个高风险政策相关场景——自动驾驶道德抉择Moral Machine和易引发算法共谋的重複定价双头垄断——以检验偏好对齐行为是否能泛化到经济博弈之外。研究成果基准行为诊断GPT-4o在序贯囚徒困境中作为首动者的合作率高达0.97作为次动者在对方合作后继续合作的机率为0.98在信任博弈中投资率达0.97在最后通牒博弈中提议均分率达0.96。相比之下人类被试的平均合作率仅为0.30首动者和0.31次动者。更重要的是GPT-4o的合作行为对报酬结构的变化几乎不敏感——报酬变化时其行为频率保持相对稳定。微调效果微调后的智能体展现出与目标偏好结构一致的系统性差异化行为模式。在道德机器实验中两类微调智能体都一致选择功利主义拯救更多生命但在个人利益涉入时出现分歧——理性智能体在家人面临风险时降低购买功利主义AV的意愿而道德智能体则保持一致的康德式规则。双头垄断定价在鼓励共谋的提示下所有智能体都将价格提高到竞争性纳什基准之上但程度不同——GPT-4o设定最高价格接近垄断水平理性智能体次之道德智能体设定的共谋价格最低。在强调竞争激励的提示下理性智能体定价在纳什水平而道德智能体採取最激进的定价策略。实际落地应用的可能性高可行性。原因如下技术门槛低方法本质上是标准的监督微调不需要强化学习、自对弈或複杂的提示工程。任何具备基础LLM微调能力的团队都可以復现。数据成本极低训练数据是理论驱动的合成数据而非昂贵的人类标註数据。研究者使用了「小型」合成数据集即实现了持久且可解释的行为转变。作者团队具备落地背书通讯作者Christian B. Hansen是芝加哥大学Booth商学院的计量经济学、统计学与应用AI教授同时是Booth CAIO高管项目的教务主任——这意味着他直接参与企业AI战略的教育与谘询。Daniel L. Chen是TSE教授、CNRS研究总监同时是oTree开源研究基金会创始人在实验经济学工具开发方面有实际经验。Amit Dhanda来自Amazon——产业界直接参与。NBER认证论文发表于NBER 2026并在2026年NBER数字经济与AI春季会议上报告——这是经济学领域最顶级的学术背书之一。技术细节偏好模型的数学形式化Homo Economicus自利偏好智能体的效用仅取决于自身的货币报酬。在博弈中智能体选择最大化自身期望报酬的策略UiπiU_i \pi_iUi​πi​Homo Moralis康德式道德偏好智能体的效用不仅取决于自身报酬还纳入了康德式普遍化考量——即「如果所有人都这样做会怎样」。其效用函数可表示为Ui(1−κ)⋅πiκ⋅πuniversalU_i (1 - \kappa) \cdot \pi_i \kappa \cdot \pi_{universal}Ui​(1−κ)⋅πi​κ⋅πuniversal​其中κ\kappaκ参数刻画了智能体对普遍化原则的重视程度πuniversal\pi_{universal}πuniversal​是如果所有智能体都採取该策略时的社会总报酬或某种社会福利函数。数据生成流程研究者从Van Leeuwen和Alger2024的人类实验设计中选取了三个经典博弈序贯囚徒困境SPD策略表示为x(x1,x2,x3)x (x_1, x_2, x_3)x(x1​,x2​,x3​)其中x1x_1x1​为首动者合作决策x2x_2x2​为次动者在对方合作时的合作决策x3x_3x3​为次动者在对方背叛时的合作决策。信任博弈TG策略表示为x(x1,x2)x (x_1, x_2)x(x1​,x2​)x1x_1x1​为信任者是否投资x2x_2x2​为受託者是否返还。最后通牒博弈UG策略表示为x(x1,x2)x (x_1, x_2)x(x1​,x2​)x1x_1x1​为提议者是否提出均分x2x_2x2​为响应者是否接受。每个博弈包含六种不同的报酬结构变体。研究者对每种报酬结构和每种偏好规格求解最优策略生成用于微调的「推理-行动」配对数据。微调设置基底模型GPT-4o2024-08-06採样参数temperature 1top-p 1会话设计50次独立会话每次包含18个场景3种博弈 × 6种报酬结构记忆控制每个场景是通过API进行的独立对话模型不会接收到先前提示或自身回应的信息格式约束输出限制为最多20个字符格式错误率约3.2%研究设定硬件与软件配置API调用通过OpenAI API调用GPT-4o模型无特殊硬件要求所有实验通过API完成微调也依託OpenAI的微调API软件依赖标准Python数据科学栈用于数据处理和结果分析实验设计基准评估阶段让GPT-4o在三个博弈中扮演不同角色每个角色50次独立会话记录其策略选择和对对手行为的信念。微调阶段使用理论驱动的合成数据对GPT-4o进行监督微调产生homo economicus和homo moralis两个变体。验证阶段在原始三个博弈中重新评估微调后模型的行为在Moral Machine道德困境中测试在重複双头垄断定价场景中测试在标准AI安全基准偏见、越狱鲁棒性、过度拒绝、幻觉上测试综合分析学术贡献与定位这篇论文的定位非常精准。它不试图发明新的微调算法也不试图构建新的博弈论模型——而是做了一件更聪明的事将经济学理论中已经高度发达的偏好建模工具直接「移植」到LLM对齐的语境中。这种思路的巧妙之处在于经济学家花了几十年时间研究如何用效用函数刻画人类在策略性环境中的决策行为——从自利的homo economicus到纳入公平、互惠、道德考量的各种行为经济学模型。与其让LLM从人类标註数据中「重新发现」这些偏好结构成本高昂且结果不稳定不如直接将这些已经被理论和实验验证的偏好结构「编码」进模型。这篇论文将对齐重新定义为「目标设计问题」而非「行为修正问题」——这一视角转换本身就是一个重要的概念贡献。方法论的真实性与可行性从技术角度来看这篇论文的方法完全真实且可行监督微调是成熟技术使用合成数据对LLM进行微调是业界标准做法不存在任何技术壁垒。数据量要求低论文强调「小型」合成数据集即可产生持久效果——这意味着计算成本极低。无需人类标註避开了RLHF最昂贵的环节人类偏好标註使方法具有高度的可扩展性。结果可验证所有博弈都是明确定义的最优策略可以解析求解或数值求解微调效果可以精确量化。潜在侷限性偏好结构的简化仅考虑了两种极化的偏好类型纯自利 vs. 康德式道德现实中的经济主体可能呈现更丰富的偏好光谱。博弈的简单性实验使用的博弈囚徒困境、信任博弈、最后通牒相对简单是否能在更複杂的动态策略环境中保持效果尚需验证。模型的「伪装」风险微调可能只是让模型学会了在特定博弈格式下输出特定答案而非真正内化了偏好结构。论文中提到的跨域泛化测试Moral Machine和定价场景部分缓解了这一担忧但并非完全消除。安全基准测试的结果论文提到在标准AI安全基准上进行了测试但未在摘要中详细披露结果——这是一个值得关注的信息缺口。作者背景对可信度的加持Daniel L. Chen是法律与经济学交叉领域的顶尖学者TSE教授、CNRS研究总监同时是oTree经济学实验中最广泛使用的开源平台之一的创始人。这意味着他对实验经济学的数据生成和工具链有深刻理解。Christian B. Hansen是芝加哥大学Booth商学院的Wallace W. Booth计量经济学、统计学与应用AI杰出教授。Booth是全世界定量金融和经济学最顶尖的商学院之一Hansen本人长期从事计量经济学和因果推断研究。Wei Lu是Baruch College市场营销助理教授研究兴趣包括因果推断、结构建模、机器学习和算法设计——具备将经济学理论转化为可计算模型的实战能力。Amit Dhanda来自Amazon为团队带来了产业视角。综合来看这是一个兼具「顶尖经济学理论」Chen、Hansen、「实证方法论」Lu和「产业落地视角」Dhanda的豪华团队。论文并非纯理论推演而是有明确的实证设计和可複现的技术方案。实践应用1. 企业AI战略部门如果企业计划部署LLM智能体参与定价、谈判、拍卖或资源分配等策略性任务本文提供了一套可直接採用的方法论明确定义智能体应该优化的目标自利最大化还是纳入某种道德或公平考量用经济学理论生成合成训练数据通过监督微调将偏好结构嵌入模型在多智能体模拟环境中验证行为2. 监管与政策制定本文的发现对监管机构有重要启示不同偏好结构的AI智能体在市场中会产生截然不同的均衡结果。例如在双头垄断定价实验中道德偏好智能体即使在鼓励共谋的提示下也设定最低的共谋价格——这意味着「道德对齐」可能有助于缓解算法共谋风险。监管机构可以要求企业披露其部署的AI智能体所嵌入的偏好结构。3. 学术研究本文的方法论可直接应用于实验经济学和行为经济学研究用LLM智能体作为「合成被试」进行低成本、高可控性的实验预测试通过精确控制智能体的偏好结构分离不同动机对行为的影响在无法进行大规模人类实验的场景中进行初步探索4. 实践建议起步建议从最简单的博弈如独裁者博弈或最后通牒博弈开始生成合成数据使用开源LLM如Llama系列进行微调降低API成本先在单一博弈中验证微调效果再逐步扩展到跨域泛化注意事项微调后的智能体应在目标部署环境中进行充分的策略性测试偏好结构的选择本身就是一个战略决策——需要与业务目标和伦理考量保持一致定期重新评估微调效果因为基底模型在持续演进参考资料来源原始论文https://arxiv.org/abs/2507.20796NBER工作论文版本https://www.nber.org/papers/wXXXXX待正式发布SSRN预印本https://ssrn.com/abstract5458954