十年匠心定制 · 商业建站与技术教学双线并行 咨询热线:400-886-1026 service@lmnt.cn
ARTICLE DETAIL

资讯详情

深耕网站建设与运营推广的一线实战洞察。

下一代AI助手,不该更聪明,而该更“听话“

下一代AI助手,不该更聪明,而该更“听话“ 下一代AI助手不该更聪明而该更听话——关于它为什么总说不听以及它的下一代该长什么样引子你有没有被AI气到过周五下午六点你要赶一份报销单。你打开AI助手说“帮我整理一下这周的打车记录按日期排序金额超过100块的单独列出来备注写上客户拜访。”十秒钟后它输出了一张表。你一看没按日期排。你又说按日期从早到晚排一下。它改了。再一看超过100块的没有单独列。又说100以上的单独分组。它又改了。准备提交的前一秒你发现备注栏写的是拜访客户不是你要的客户拜访。两个词意思一样但你们公司报销系统只认客户拜访这四个字。你叹了口气第三次要求修改。心里想这些规矩我第一句话就全说了为什么非要一句一句补如果你有过这个感觉那么恭喜你你感受到了当前所有AI助手共享的一个底层毛病。这个毛病不是不够聪明而是——规矩告诉它了但它未必守。这篇文章我们就从这个毛病聊起。先拆解它到底是怎么来的再聊聊现在业界的治法为什么越治越重最后推演出下一代AI模型应该长什么样。说实话我当初也不信推演的方向会是现在这样但越挖越觉得这事没那么玄乎。一、当代AI助手的三个底层毛病AI助手说不听表面上看是一次又一次的小失误。但挖到底层其实是三个结构性矛盾在反复发作。1.1 前面说的规矩后面就忘你有没有试过跟AI聊一件复杂的事比如让它帮你写一份商业计划书。开头你给了五条要求目标客户是中小企业、定价模式是订阅、不碰广告收入、必须有免费版、注册流程不超过三步。前十页它还能坚守到了后面写营销方案那章它突然建议你可以引入精准广告变现。你指着屏幕“我第一条就说了不碰广告”它很客气地道歉改了。但再过三页它又在成本分析里写了广告服务器运维费用——它自己根本没意识到前后矛盾。这不是记性不好这是位置问题。你说的规矩排在聊天记录最前面AI生成新内容时它的注意力自然更靠近最近的几段话。你说的第一条规矩离它此刻正在写的内容已经隔了几千字。就像你把公司守则贴在门口员工走到工位坐下开始干活时贴在门口的字已经淡了。1.2 规矩加得越多表现越差这是更反直觉的一条。大部分人的本能反应是既然它记不住那我就把规矩写得更长、更细、更全一点。比如加一句任何情况下不得提及广告收入包括但不限于……但现实是规矩加得越多AI整体表现越差。你可能见过这种现象。跟它说三件事它能做对两件半。跟它说二十件事它可能只能做对七八件。剩下的不是做错是直接没看见。原因不复杂。人的注意力是有限的——你同时记住二十条规矩也会漏。AI的注意力也是有限的。你一次性塞给它的规矩越多每条规矩能分到的注意力就越少。每条规矩的约束力都在同步下降。规矩写厚了等于没写。1.3 该认真的地方随便该灵活的地方死心眼第三条最气人。比如你让它写一段代码明明有一个行业标准写法它却自由发挥写出一种很奇怪的写法——该认真守规矩的地方它随便。反过来你跟它说把这句话改得更礼貌一点它硬给你改成了一种很啰嗦的句式你说不用这么客气自然点就行它又把整个句子删了——该灵活调整的地方它又死心眼。为什么因为它对所有规矩一视同仁。“必须用标准写法和尽量写得有礼貌”在它眼里是同一张清单上的第17条和第18条。哪条起作用全看它那一刻注意到了哪条。不是它故意气你是它没有办法区分必须死守的硬规矩和可以灵活掌握的软要求。三条毛病说完你会发现它们指向同一个根规矩是说给它听的不是焊死在身上的。知道了病根我们来看看目前业界是怎么治的。二、我们是怎么治的——越治越重2.1 本能反应再加一条规矩面对规矩被漏掉这个问题业界最初的反应跟你我一样既然它分不出轻重那我就再加一条请先认真阅读以下全部规矩再回答的超级规矩。既然它记不住前面说的那我就再写一份检查清单让它每做完一步对照一遍。既然它分不清硬和软那我就再标一堆【红线】【P0】【强制】的标签用大写字母把重要的东西再强调一遍。短期看这些招都有用。你加了检查清单那一天它犯错的概率确实下降了。2.2 为什么这是死循环但你再往下走一步就会发现问题你用再加一条规矩的方式去治疗规矩太多这个病。这个药方本身就站在病因那一边。你加了检查清单清单本身又是新的一堆文字。你加了红线标签标签本身又占注意力。你写了分层规则分层规则又多了一层要记住的东西。一个月后回头看原来的规矩是一万字现在变成了三万字。开头说的那个注意力被摊薄的老毛病不仅没好还更重了。这就像一个人背不动一百斤你给他的解决方案是再背二十斤的如何正确背东西的说明书。2.3 一个被忽略的事实大部分规矩根本不用让AI读这步反思维很关键也是整盘推演最值钱的一个拐弯。我们停下来想一想。你给AI立的那些规矩里有多少是真的需要它理解并记住的“禁止在输出里包含密码和密钥。”——这条需要AI理解吗不需要。只要代码层在输出前扫一遍发现可疑字符串就拦截掉就行。AI甚至不需要知道有这条规矩的存在。“输出必须符合这份JSON格式。”——这条需要AI记住吗也不需要。输出完之后跑个格式校验对不上直接打回AI自己重写就好。“不能引入带GPL协议的代码库。”——这条更不用AI操心。你在它能调用的工具库里把GPL的东西全筛掉它想违规也没地方找。我数过这类可以被代码强制执行的规则占我们平时写给AI的规矩的一半以上。而我们之前的做法是把这些明明可以让代码兜底的事全写进说明书里让AI用它金贵的注意力去记住和遵守。等于你雇了一个博士来干活却让他把一半脑力花在出门记得关灯、饭前要洗手、下班别忘打卡这种事上。他当然干不好真正重要的活。既然这条路走不通那正确的路在哪里巧的是圈内已经有一个开源项目走出了完整的一步。我们不需要凭空猜直接看它做了什么。三、正确的方向把规矩从说明书搬出去3.1 一个开源项目的反直觉做法今年年中DeepSeek开源了一个叫deepseek-harness的AI助手底座工程。它面对的问题跟我们完全一样——AI助手规矩越多越失效。但它选了一条正好相反的路。它的核心立场可以概括成一句话凡是能被程序强制执行的规矩就不要写进说明书让AI去记住。把它写死成代码说明书里只留AI真正需要看的内容。我第一次读到这句话时愣了十秒钟。因为这跟我之前所有的本能反应都相反——我之前的思路永远是怎么把规矩写得更清楚而它问的是这条规矩到底要不要让AI看到。3.2 三件值得抄的具体事这个项目具体做了三件小事件件戳中我们之前的痛点。第一件说明书是可以拼装的不是整本都给。我们平时给AI的说明书是一整本——不管它今天是要写代码还是要写文案拿到的都是同一份超长文档。它的做法是把说明书拆成一块块零件。今天要写代码就只把代码相关的那几块拼起来给它看明天要写方案就换成方案相关的块。用不上的根本不放进这一轮对话。就像你去餐厅吃饭菜单只给你这一季的菜不会把三年来所有上过的菜全印给你翻。第二件必须守的硬规矩代码先拦一道。比如有一条规矩是不许直接读取系统敏感文件。我们之前是把这条写在说明书第一条靠AI自觉。它的做法是在AI动手之前代码先检查一遍它要读什么。碰了敏感文件代码直接返回禁止访问AI甚至没有机会选择要不要违规。这就像公司的门禁系统。你不用在员工手册上写一千遍非授权人员禁止进入机房只要机房门上装个刷卡器不是授权的人根本推不开。第三件发生过的事记在一本只增不改的账本上。我们之前的做法是每隔一段时间把当前的对话状态拍个快照存下来之后如果对不上再费劲去核对快照和真实情况。它的做法是只存一本原始账本所有发生过的事情按时间顺序追加进去不许改、不许删。任何时候需要知道当前状态就当场从账本重新算一遍。这就像会计做账。聪明的会计不会每天拍一张当前账户余额的照片存起来。他只存每一笔流水余额永远是流水加出来的。从根上就不存在余额照片和流水对不上这个问题。三件事背后是同一个原则。我把它翻译成最土的话就是守规矩这件事能交给锁和门禁的就不要交给人的记性。人AI负责思考锁负责不让你碰不该碰的东西。好。方向明确了。现在我们顺着这个方向推一推下一代AI模型本身应该长什么样。四、下一代AI模型会长什么样这一节是全文的核心推演。每一条我都会先说它会变成什么样然后用一个生活类比帮你记住最后再讲清楚这一条是为了解决前面说的哪个毛病。4.1 不同的活派给不同的人干今天的AI模型本质上是一个全能选手。写代码、写文案、做分析、想创意全是同一个大脑在干。问题是干不同活对脑子的要求完全不一样。写代码要严谨格式要准一个逗号都不能错——这时候大脑应该死板一点。想创意要发散不能被条条框框限制——这时候大脑应该灵活一点。让同一个大脑同时做到死板又灵活就像让一个人同时当法官又当诗人。不是完全做不到但每一头都打了折。下一代会怎么做 它不是一个大脑而是一组各司其职的专家小组。有专门干格式活的代码、翻译、填表这组人脑小、手快、零容忍 有专门干分析活的数据对比、诊断原因这组人细心、有条理 有专门干决策活的选方案、定架构这组人大脑大、想得深、但慢点 有专门干创意活的想点子、写故事这组人天马行空、不守陈规。外面有一个调度员。你说一句话调度员先判断这是哪类活然后把任务派给对应的专家组。类比一下 今天的AI是一个大超市你买烟酒、买生鲜、买文具都排队在同一个收银台结账。下一代是一个购物中心一楼超市、二楼服装、三楼餐饮、四楼影院——你进了大门先看你要干嘛再指引你去对应的楼层。解决的毛病 前面说的第三条该认真时随便该灵活时死心眼。因为不同类型的任务物理隔离到了不同的人手里不会互相干扰。4.2 脑壳里分抽屉重要的东西不混放今天的AI模型它记住的所有东西都堆在一个地方。你跟它说的话、它从训练数据里学的知识、它之前生成的内容——全混在一起。这就像你把工作文件、家庭照片、银行存折、孩子的成绩单全塞在同一个抽屉里。找东西时不是找不到就是翻出来一大堆不相关的东西干扰你。下一代会怎么做 它的大脑会分出外置的抽屉。抽屉A放事实比如这个客户叫张三公司电话是XXXX 抽屉B放规矩比如输出不含敏感信息、格式必须是JSON 抽屉C放进度比如报告写了前三章第四章大纲已确认 抽屉D放账本所有做过的事按时间顺序一笔笔记下来。它每次回答问题前不是从一堆混乱的东西里摸而是先去对应的抽屉里取。规矩永远从抽屉B取事实永远从抽屉A取不混着拿。类比一下 今天的AI是你记事用的便签本所有事随手写在同一张纸上正反面都写满了半年后回来找根本找不到。下一代是一个文件柜左边放人事档案、中间放财务单据、右边放项目进度每类东西有自己的格子。解决的毛病 前面说的第一条前面说的规矩后面就忘。因为规矩有自己专属的抽屉不会被其他信息淹没。4.3 最关键的规矩钉在眼前永远不会丢刚才说的外置抽屉解决了不混放的问题但还有一个问题如果它取规矩的时候没去开那个抽屉怎么办或者更直白一点如果它就是忘记了自己还有一个规矩抽屉呢这个问题不能靠提醒它记得开抽屉来解决——因为提醒本身又是一条新规矩又回到了老问题。下一代会怎么做 最最关键的那几条规矩不是放在抽屉里让它去取而是钉在它视线正前方想不看都不行。具体来说它的架构里会预留一排特殊的钉子位。这些位置放的内容在每一次思考的每一步都会强制经过它的注意力中心。不管它后面正在想什么内容这几条钉子永远排在最前面权重被人为拉高。你不用让它记得守规矩。规矩就贴在它眼皮子底下。类比一下 今天的做法是把公司守则打印出来员工入职时发一本指望他之后遇事能翻到。下一代的做法是把守则里最要命的三条不许收贿赂、不许泄露客户信息、上班必须打卡做成大字贴在他工位正对面的墙上——他抬头就看见低头也能看见余光。解决的毛病 第一条和第二条的交叉点——“规矩被埋住、注意力被摊薄”。关键规矩的位置不再是概率问题而是架构级的物理保证。说实话我第一次推到这一层时也有点担心这样会不会让模型变笨毕竟视线正前方的东西是固定的会不会占用它的思考空间但仔细一想贴三条红线占用的位置跟你把三十条规矩全塞给它占用的位置比简直是九牛一毛。反而是省下了大量的注意力可以花在真正重要的事情上。4.4 话说乱了自动停整理好再继续你有没有试过跟AI聊特别长的话题比如让它帮你策划一场连续十天的旅行行程。聊到第七天的时候它输出的内容开始出现重复。前一天订好的下午去博物馆第二天又写了一遍。或者它的句子越来越绕明明说过的事情又换个说法再说一遍。这其实是它的输入密度超标了。它脑子里塞的东西太多超过了能清晰处理的边界。今天的AI处理这种情况的方式是——硬撑。它不会告诉你我有点乱了也不会自己停下来整理。它就顶着混乱继续输出直到彻底离谱。下一代会怎么做 它自带一个清晰度检测器。这个检测器很轻量不算它的主思考流程。它每隔一小段时间就扫一遍当前输入的混乱程度——比如是不是有重复信息、是不是格式太复杂、是不是专业术语堆得太多。一旦混乱程度超过安全线它会先停下来不继续往下答。它先把当前的内容整理一下该压缩的压缩该摘要的摘要该去掉的冗余去掉。等混乱程度回到安全线以内再继续。类比一下 今天的AI是一个不会收拾桌子的员工。桌面堆满了文件、咖啡杯、便签纸他还在硬着头皮继续工作时不时碰翻杯子。下一代是干到一半会自己抬头看一眼桌面说等一下我先整理整理把东西归置利落了再接着干。解决的毛病 第二条规矩越多表现越差的升级版。不只是规矩任何类型的输入混乱都会被自动检测和清理不会无限累积。4.5 干到一半自己查规矩错了自动重来这一条是前面规矩写进代码思路的终极形态。今天的流程是AI先生成完整内容 → 你拿去检查 → 发现违规 → 让它重写 → 它再生成一版。一轮沟通至少要三轮交互才能对。更气人的是第二轮它可能把第一轮改对的地方又改错了。下一代会怎么做 它一边生成一边自查。不是让它学会自查而是你可以提前给它一份检查清单——不是写在说明书里的那种是作为独立的、黑盒的检查程序传进去的。它每写几句话比如写了一个段落、或生成了一段代码就自动跑一遍这份检查清单。如果清单返回不通过它不会把错误的内容吐给你。它自己回退到上一个没问题的位置重新开始写这一段。整个过程你感知不到。你拿到的就是已经过了自查的版本。更关键的是这份检查清单它看不懂。它只能拿到通过或不通过的信号不知道清单里具体检查的是什么。为什么要这样设计因为如果它看懂了检查规则它可能会学会一种刚好踩着边界过检查的写法——字面上合规了但实际上钻了空子。让它看不懂规则反而能保证它是真的按要求去做而不是在应付检查。类比一下 今天的流程是学生写完卷子交给老师批改错了打回来重写。下一代的流程是学生每做完一道题旁边就有一台机器自动扫一遍答题卡。如果这道题填错了格式机器直接当场说擦掉重填不用等到整张卷子做完、老师批完再改。解决的毛病 全部三条毛病的综合收尾。规矩违规了不等到最后再发现中间就拦住了不用你再提醒第二遍、第三遍。4.6 记性好坏可以调看你今天干长活还是短活最后一条最有意思也最容易被忽略。你有没有发现有时候你希望AI记性好一点。比如你让它帮你写一本十几万字的书从第一章写到第八章。这时候你最担心的是前面写的设定后面忘了——人物的名字对不上、地点前后矛盾、时间线对不上。但有时候你又希望AI别记太多。比如你上午让它帮孩子出数学题下午让它写工作邮件。你不希望上午出数学题的那种简单、幼稚的语气带到下午的工作邮件里。你希望它换频道时能干净一点。今天的AI做不到这个切换。它的记性衰减速度是天生的你改不了。有的模型记性长但反应慢有的模型记性短但切换快。你只能选一个不能两头都要。下一代会怎么做 记性衰减的速度是可调的。就像你手机上的屏幕自动关闭设置——你看电子书时调长一点10分钟不碰才关平时用手机时调短一点30秒就关省电又方便。AI的记性衰减也一样。你要干长活写一本书、做一个月的项目就把衰减调慢它记得久一点前后一致但每一步思考会稍微慢一点。你要干短活发一条朋友圈、算一个数就把衰减调快它切换干净不会把上一个任务的语气和习惯带过来而且速度快。甚至同一个任务中间也能调。比如前半段你让它快速出几个粗糙方案衰减调快出得快后半段你让它把选中的方案打磨细衰减调慢保持一致性。类比一下 今天的AI是一个固定焦距的相机拍远拍近都是同一个焦距你只能选适合拍远景的长焦机或适合拍近景的微距机。下一代的AI是一个变焦镜头同一个相机拧一下就从长焦切到微距看你拍什么。解决的毛病 第一条前面说的忘了和第三条切换不干净的矛盾。不是所有场景都要记性好也不是所有场景都要切换快——你自己说了算。六条推演说完了。让它们串起来你应该能在脑子里拼出一个大概的轮廓了。这里我其实也没完全想透的是第六条和第三条的配合如果衰减速度调得很快但第三条又把关键规矩钉在眼前这两个机制是互相抵消还是互相增强目前我倾向于后者——钉在眼前的规矩不管衰减多快都在衰减只影响非关键的上下文两者配合反而能同时拥有关键信息永不丢和非关键信息快速切换两个好处。但这个结论还需要更多的实际案例来验证。五、怎么验证这个推演对不对推演这东西最怕的是逻辑上说通了但现实不发生。所以最后我列几个可观察的信号。如果接下来一两年内你在各家AI产品的更新日志里看到了这些迹象那说明我们推的方向大概率是对的迹象一 AI的API接口会多出一个任务类型参数。你调用的时候要先选这是格式类任务、“分析类任务”、“决策类任务还是创意类任务”。选不同的类型返回的速度和质量会明显不同。如果你看到这个参数出现了对应我们推演的第一条不同的活派给不同的专家。迹象二 AI的API会多出一个检查规则字段。你可以传一份规则进去AI返回的结果里会自带一个规则检查已通过的标记。如果出现了这个字段对应我们的第五条干到一半自己查规矩。迹象三 AI厂商不再拿上下文长度200万token当宣传噱头。行业宣传重点从能记得多长变成有效信息密度有多高。如果这个风向变了对应我们的第三条和第四条关键信息钉住、混乱自动清理。迹象四 国产AI厂商会率先推出注意力模式之类的功能——比如有长任务模式和速战速决模式可选。因为国产模型目前的记性衰减问题比海外模型更明显优化的动力最强。如果先看到这个对应第六条衰减速度可编程。如果这四个迹象一个都没出现那说明我推错了。欢迎两年后回来打我脸。六、结尾我们要的不是更聪明的AI绕了这么大一圈最后回到最开始那个改报销单改了三次的场景。你会发现我们期待下一代AI做到的事没有一件是变得更聪明。不是让它学会更复杂的数学 不是让它掌握更多的语言 不是让它能写更漂亮的诗。我们期待的其实只是一件很朴素的事你说的话它真的能听进去。该守的规矩它真的能守住。说过一遍的事不用再说第二遍。这事听起来简单做起来却要把AI从说明书驱动改成代码约束驱动要改它内部的架构要改它的注意力机制要改规矩的承载方式。但方向是清楚的。规矩不应该是AI要读的文字。规矩应该是它身上的锁。参考术语解释表正文中刻意避免了这些专业名词如果你之后跟业内朋友聊起本文内容遇到这些词可以在这里对照。你在业内可能听到的词 本文通俗说法 一句话解释注意力衰减Attention Decay “前面说的规矩后面就忘” AI处理长文本时对中间和前段信息的关注度下降临界熵值 “输入混乱安全线” AI能清晰处理的输入混乱程度上限认知对齐系数 “跨模型协作的效率折损” 不同AI模型之间传递信息时的理解偏差比例三层上下文架构 “脑壳分抽屉关键钉子位” 将信息分为锚点层/任务层/召回层分别管理的设计MoE混合专家 “不同的活派给不同的专家组” 多个专用子网络通过路由器协作的模型架构不变量断言 “黑盒检查清单” 生成过程中自动执行、执行者看不到内部逻辑的合规校验KV Cache “AI脑子里临时记事的那块地方” 模型推理过程中缓存历史计算结果的内存区域Transformer “AI大脑的基础结构单元” 当前主流大模型通用的底层神经网
返回列表