DeepSeek V4 Pro正式版前两天上线, 评测结果如下:本篇解析下各评测指标含义, 及DeepSeek V4 Pro在评测中的表现我们先看下结论(仅个人观点)DeepSeek V4 Pro 适合干什么: 把重复性、流程化的“动手”脏活累活交给它效率杠杠的。适合的工作流RPA自动化需要批量操作网页后台如电商上架、OA审批、App自动化测试。安全运维实时分析防火墙日志、在靶场环境做自动化渗透、应急响应剧本执行。终端运维登录服务器批量巡检、日志分析、一键部署脚本。工具链串联写好提示词让它当“胶水层”自动调API把数据从A系统搬到B系统。不适合需要深度创新算法推导的科研任务。纯靠脑袋想、不需要查资料的“闭卷脑暴”。下面看具体评测方法的解析1. HLE (wo/w tools) —— 专家级多学科推理项目内容考什么研究生/专家级别的跨学科难题覆盖数学、物理、化学、生物、计算机、历史、文学等几十个领域。无工具闭卷考有工具允许调代码解释器或搜索引擎辅助。真实工作类比战略顾问的案头研究——面对一个陌生领域的复杂问题比如估算某新兴技术的市场渗透率曲线不借助外部资料纯靠脑力拆解逻辑链条、调用跨领域知识做推导。模型无工具有工具工具增益DeepSeek-V4-Pro42.760.017.3Kimi-K343.556.012.5Opus-4.849.857.98.1Fable553.363.09.7差距解读无工具Fable53.3 Opus49.8 Kimi43.5≈ Pro42.7。Fable比Pro高10.6分相当于高考数学150分卷一个考140一个考120——两个档次的差距。有工具Fable63.0 Pro60.0 Opus57.9 Kimi56.0。差距缩小Pro从倒数第一追到第二。工具增益Pro最大17.3说明它遇到难题第一反应是查外援Kimi次之12.5Opus和Fable增益较小因为它们裸考本身就很强工具的边际效益递减。推测原因Fable5预训练阶段投入了远超同行的科学/数学/逻辑类数据且在推理时可能用了多路径采样自我验证技术相当于考试时反复检查三遍才交卷。基底智商天花板最高。Opus-4.8基底模型同样很强49.8但工具增益最小Δ8.1说明它在该不该用工具、怎么用的判断上偏保守或者训练时工具调用的场景覆盖不足。Kimi-K3基底推理跟DeepSeek Pro同一档43.5 vs 42.7工具增益中等Δ12.5。推理底子不突出但工具意识不错。DeepSeek-V4-Pro基底推理最弱但工具增益最大——专门补强了工具调用意识遇到难题立刻调代码解释器用外部计算补内部推理的短板。2. Terminal Bench 2.1 —— 终端命令行操作项目内容考什么模拟真实Linux/SSH服务器环境AI需要自己敲命令完成文件查找、权限修改、网络诊断、服务部署等一系列运维任务。真实工作类比运维工程师/SRE的日常——登录服务器查日志、定位磁盘爆满原因、重启挂掉的服务、排查网络不通的问题。每一步都依赖准确的命令和上下文感知。模型分数排名Kimi-K388.3Fable588.0DeepSeek-V4-Pro87.9Opus-4.885.0第4差距解读Kimi以0.3分险胜Fable以0.4分险胜Pro。前三名差距极小88.3 vs 88.0 vs 87.9基本是误差范围内的平手。Opus落后3分虽然也是顶级水平但跟前三有肉眼可见的差距。推测原因Kimi-K3登顶这是Kimi最亮眼的成绩。推测Kimi在训练时专门强化了Linux/Shell环境交互数据或者在命令记忆和上下文状态保持上有特殊优化比如更长的有效上下文窗口能记住之前敲过什么命令、当前在哪个目录。Fable和Pro紧随其后这类任务已经接近天花板88%再往上提分极难。三者差距极小说明顶尖模型在终端操作上的能力已经趋同。Opus相对落后Opus在学术/理论任务上强但在动手敲命令这类实操任务上训练数据的覆盖可能不如前三者。3. NL2Repo —— 自然语言→完整代码仓库项目内容考什么给一段产品需求描述如做一个带用户认证的博客系统AI需要生成完整的项目代码包含多文件结构、目录组织、依赖配置、数据库Schema等。真实工作类比全栈工程师接需求——产品经理口头说我要一个XXX功能工程师要把它变成一套可运行的代码仓库包括前端、后端、数据库、配置文件一整套。模型分数排名Fable569.7DeepSeek-V4-Pro61.5Kimi-K3—未参与Opus-4.854.2差距解读Fable领先Pro8.2分领先Opus15.5分差距非常明显。通俗说Fable像资深全栈能把模糊需求翻译成结构清晰的工程Pro像高级全栈能做但架构设计没那么老练Opus像中级全栈能干活但架构较乱。推测原因Fable5推理强代码生成强的双重优势。能准确理解需求中的隐含约束如用户认证意味着需要JWT、密码加密、会话管理等并合理拆分文件。DeepSeek-V4-Pro代码生成能力不弱但需求理解自然语言→结构化设计这一步不如Fable——呼应了HLE纯推理偏低的事实理解复杂语义的能力稍逊。Opus-4.8低分比较意外推测Opus在长篇幅、多文件的代码生成上训练数据不足更擅长单文件/单函数级别的代码任务。4. Cybergym —— 网络安全攻防实战项目内容考什么模拟真实网络靶场AI扮演红队攻击方做渗透测试、漏洞利用、提权或扮演蓝队防御方做日志分析、入侵检测、应急响应。真实工作类比安全工程师/红队成员——接到授权后对目标系统进行渗透测试通过信息收集→漏洞探测→利用→提权→持久化的一整套流程验证系统安全性。模型分数排名DeepSeek-V4-Pro83.3Fable583.1Kimi-K380.0Opus-4.878.3第4差距解读Pro以0.2分的微弱优势险胜Fable两者是同一水平。Kimi80.0和Opus78.3落后3-5分属于优秀但不及顶尖。推测原因Pro登顶推理最强的Fable没拿第一反而Pro拿了——说明Cybergym更看重多步骤策略规划和环境试探-反馈-调整的闭环能力而这正是Pro在工具调用上积累的优势。Pro擅长走一步看一步根据报错调整下一步非常适合攻防场景。Fable紧随其后推理强也有用——漏洞分析、代码审计需要深厚的底层理解。但攻防中的试探-调整节奏不是Fable的最强项所以以微弱劣势屈居第二。Kimi第三Kimi在终端操作上很强冠军但安全攻防不只是敲命令还需要漏洞原理理解和对抗性思维这两项Kimi不如Pro和Fable。Opus落后可能Opus在安全领域的数据训练不足或者在对抗性环境下的策略迭代不够灵活。5. DeepSWE —— 真实GitHub Issue修复项目内容考什么基于SWE-bench框架给AI一个真实的GitHub Issue包含大量历史讨论、代码上下文、跨文件依赖AI需要定位bug位置并生成修复补丁通过单元测试才算对。真实工作类比资深软件工程师修Bug——JIRA上扔过来一个积压已久的复杂Issue附带了20条评论、涉及5个文件的代码你要先看懂问题、定位根因、改代码、确保不引入新bug。模型分数排名Fable570.0Kimi-K367.5DeepSeek-V4-Pro62.7Opus-4.858.0第4差距解读Fable领先Kimi2.5分领先Pro7.3分领先Opus12分。通俗说Fable是首席架构师修bug又快又准Kimi是高级工程师能修大部分复杂bugPro是中级偏高级能修但需要更多试错Opus是中级工程师复杂bug容易卡住。推测原因Fable5领先修bug需要极强的长上下文理解Issue里的历史讨论可能有几千字跨文件依赖分析改A文件要连带改B文件。Fable在HLE展现的长链推理能力在这里无缝迁移——定位bug本质上就是一个多跳推理问题。Kimi第二且超ProKimi在Terminal Bench上登顶说明它在状态跟踪上很强这在修bug时也有用——跟踪代码执行路径、变量变化。加上Agents Last Exam的高分说明Kimi在冷门推理上有韧性修bug遇到非常规场景时不容易卡住。Pro第三Pro在Terminal Bench和Toolathlon上的高分说明它在环境交互上很强但DeepSWE更多是阅读理解静态分析不需要频繁与外部交互Pro的工具调用优势发挥不出来。Opus落后跟NL2Repo的情况类似Opus在超长上下文多文件协同的任务上可能训练不足或者上下文窗口虽大但有效利用率不高。6. Toolathlon-Verified —— 多工具API混合调用项目内容考什么模拟真实场景中调用各种外部API完成任务比如查天气→订机票→发邮件通知→写日历日程需要自主规划调用顺序、填对参数、处理返回结果。真实工作类比AI自动化助理——老板说帮我安排下周去上海的出差你需要调航班API查票、调酒店API订房、调日历API占时间、调邮件API发行程单给老板一套流程串下来。模型分数排名Fable577.9Kimi-K376.5Opus-4.876.2DeepSeek-V4-Pro74.1第4差距解读前两名差距1.4分前三名差距1.7分四家差距在3.8分以内——大家都很强属于同一梯队。Pro反而排最后有点意外——毕竟Pro在HLE工具增益上最大。推测原因Fable5推理强在这里依然有优势——理解订出差背后的隐含步骤需要先查航班再订酒店而不是反过来需要常识推理。Kimi-K3第二Kimi在终端操作上登顶说明它在与环境交互这类任务上整体很强工具调用只是延伸。Opus-4.8第三Opus在这个任务上表现意外地好超Pro说明Opus在API调用的规范性和参数准确性上训练扎实属于细致型选手。Pro相对落后虽然Pro在HLE工具增益上最大但那是调用代码解释器做数学计算场景单一。Toolathlon涉及多种异构API航班、酒店、日历、邮件格式各异Pro可能在异构工具编排上不如前两者熟练。7. Agents Last Exam —— 极限冷知识推理项目内容考什么类似HLE但题目更难、更偏门号称AI的终极期末考试覆盖STEM到人文的极难推理题。所有模型得分都极低15-28分属于还没被攻克的基准。真实工作类比学术研究中的跨学科难题——比如结合量子力学和热力学推导某极端条件下的材料特性不是日常工作是前沿科研。模型分数排名Kimi-K327.6DeepSeek-V4-Pro25.7Opus-4.825.7并列Fable5—未参与差距解读分差极小27.6 vs 25.7 vs 25.7Kimi只是微弱领先。Fable未参与。通俗说大家都不会差距可以忽略不计。这个基准的难度远超当前所有模型的能力边界。推测原因分数太接近没有任何统计显著差异。这个基准目前的作用是看谁先突破30分而不是区分25和27。Kimi小幅领先可能说明它在预训练时包含了更多偏门/冷门的学术数据或者推理时对不确定性问题的处理策略更稳健。8. AutomationBench(Public) —— 网页/App自动化操作项目内容考什么模拟真人操作浏览器或手机App——点击按钮、填表单、滚动页面、处理弹窗、拖拽元素等完成多步骤业务流程如在电商网站搜索商品→加入购物车→填写收货地址→下单。真实工作类比RPA机器人流程自动化工程师——给一个电商网站写脚本自动完成批量下单、批量退款等重复操作处理各种页面加载延迟、弹窗干扰等异常情况。模型分数排名DeepSeek-V4-Pro31.8Kimi-K330.8Fable529.1Opus-4.827.2第4差距解读Pro领先Kimi1.0分领先Fable2.7分领先Opus4.6分。但所有分数都很低最高才31.8说明这个基准极难所有模型都只是实习生水平。推测原因Pro登顶这是Pro唯一明显领先的基准。AutomationBench跟Toolathlon类似但GUI操作比API调用更难——页面结构不可控、动态加载、弹窗干扰。Pro在环境感知实时调整上积累的优势Terminal Bench、Cybergym已经证明了在这里再次发挥——它更擅长看一眼当前页面→决定下一步→再看一眼→调整这种闭环。Kimi第二Kimi在Terminal Bench上也是冠军状态跟踪能力强在GUI操作中同样有用。跟Pro的差距很小。Fable第三推理强能帮助理解业务流程但GUI操作更多是感知-行动的实时反应推理优势在这里被稀释。Opus落后跟Toolathlon形成反差——Opus擅长规整的API调用但不擅长不规整的GUI操作说明两者训练的数据类型不同。9. DSBench-FullStack —— 端到端数据科学项目项目内容考什么完成一个完整的数据分析项目数据清洗处理缺失值/异常值、特征工程、模型选择、训练调参、结果可视化、生成分析报告。真实工作类比数据科学家/数据分析师——业务方扔过来一张原始数据表说帮我分析用户流失的关键因素你要从数据清洗开始到最后给出可视化图表和可行动的结论。模型分数排名Fable577.2Kimi-K373.7Opus-4.871.6DeepSeek-V4-Pro71.1第4差距解读Fable领先Kimi3.5分领先Opus5.6分领先Pro6.1分。通俗说Fable是资深数据科学家能独立完成一整套分析报告漂亮Kimi是高级数据科学家能做但不如Fable全面Pro和Opus是高级数据分析师能做但有遗漏或不够深入。推测原因Fable5数据科学需要数学/统计推理Fable强项 代码生成Fable也强 业务理解需要常识推理Fable还是强。几乎每一项都是Fable的舒适区拿第一不意外。Kimi第二Kimi在DeepSWE上表现很好代码能力强加上Agents Last Exam的高分冷门推理有韧性在数据科学全栈上仅次于Fable。Pro和Opus平手Pro在代码生成上略优于Opus但Opus在统计推理上略优于Pro两者互相抵消打成平手。10. DSBench-Hard —— 硬核数据科学难题项目内容考什么DSBench的困难版本包含更复杂的数据泄露检测、非常规模型选型如Gaussian Process、Bayesian Optimization、高维超参调优、以及陷阱题目看似应该用A方法实则要用B方法。真实工作类比顶尖数据科学家/机器学习研究员——处理Kaggle竞赛中排名前1%的难题需要对算法原理有深刻理解而不是调个XGBoost就跑的程度。模型分数排名Opus-4.871.7Fable568.3DeepSeek-V4-Pro67.2Kimi-K363.0第4差距解读Opus意外登顶领先Fable3.4分领先Pro4.5分领先Kimi8.7分。通俗说Opus在硬核数据科学上是首席科学家Fable是资深研究员Pro是高级研究员Kimi是中级研究员——差距拉得比较开。推测原因Opus-4.8登顶这是Opus唯一夺冠的基准且是在最硬核的版本上。说明Opus在高阶统计学、实验设计、陷阱识别方面有独特优势。可能Opus的训练数据中包含了大量学术论文级别的数据科学/机器学习内容比如NeurIPS、ICML论文而Fable和Pro更偏向工程代码类数据。Fable第二纯推理强能覆盖大部分题目但在陷阱识别知道什么时候看似正确的方法其实有数据泄露上不如Opus——这类问题需要更精深的统计学直觉而不是通用推理。Pro第三Pro的强项在动手执行而非方法设计遇到需要深刻理解算法原理的难题时短板暴露了。Kimi第四且落后较多Kimi的训练数据偏向工程实操终端、工具调用、修bug而不是学术理论统计学、实验设计。在硬核数据科学上Kimi的学术底子最薄。 最终总结四家画像模型一句话定位最强领域冠军项明显短板Fable5全能学霸推理、代码、数据科学全面顶级几乎无短板HLE、NL2Repo、DeepSWE、Toolathlon、DSBench-FullStack共5项冠军AutomationBenchGUI相对最弱但也不差DeepSeek-V4-Pro实战派干将强在环境感知实时调整安全攻防和GUI自动化独强Cybergym、AutomationBench共2项冠军HLE工具增益最大HLE无工具纯推理垫底、DSBench-Hard硬核理论Kimi-K3终端之王工程强者终端操作登顶修bug和极限推理也很强Terminal Bench、Agents Last Exam共2项冠军DSBench-Hard硬核数据科学明显落后比Opus低8.7分Opus-4.8学术派专家统计学和实验设计登顶API调用规范DSBench-Hard共1项冠军NL2Repo、DeepSWE长篇幅代码生成/修bug明显落后 深层原因推测Fable5为什么全面领先大概率是参数规模最大 训练数据最全 推理时计算最多的三重叠加。它的智商天花板最高能覆盖绝大多数任务类型——无论是推理、代码、工具调用还是数据科学都在第一梯队。DeepSeek-V4-Pro为什么能在动手任务上追平甚至反超训练时专门强化了工具调用、环境交互、状态跟踪的能力。它可能用了大量AI操作电脑/终端/浏览器的轨迹数据做训练专门补强了感知-行动闭环。代价是纯脑力HLE无工具弱一些硬核理论DSBench-Hard也不及Opus。Kimi-K3为什么终端登顶、但数据科学垫底Kimi的训练数据很可能偏向工程实操——Linux操作、代码调试、工具调用。这让它在Terminal Bench和DeepSWE上表现亮眼。但学术理论类数据统计学、实验设计、高阶ML的覆盖不足导致DSBench-Hard上被Opus拉开8.7分的大差距。Opus-4.8为什么数据科学登顶、但代码生成垫底跟Kimi正好相反——Opus的训练数据中包含了大量学术论文级别的统计学/ML内容这让它在需要深刻理解算法原理的DSBench-Hard上夺冠。但工程类数据多文件代码生成、修bug不足导致NL2Repo和DeepSWE上排名靠后。一句话总结四家的数据配方差异Fable全科教育门门高分Pro职业教育动手能力极强Kimi工科教育终端和工程扎实Opus理科教育理论和统计精深 DeepSeek v4 Pro正式版评测解析
DeepSeek V4 Pro正式版前两天上线, 评测结果如下:本篇解析下各评测指标含义, 及DeepSeek V4 Pro在评测中的表现我们先看下结论(仅个人观点)DeepSeek V4 Pro 适合干什么: 把重复性、流程化的“动手”脏活累活交给它效率杠杠的。适合的工作流RPA自动化需要批量操作网页后台如电商上架、OA审批、App自动化测试。安全运维实时分析防火墙日志、在靶场环境做自动化渗透、应急响应剧本执行。终端运维登录服务器批量巡检、日志分析、一键部署脚本。工具链串联写好提示词让它当“胶水层”自动调API把数据从A系统搬到B系统。不适合需要深度创新算法推导的科研任务。纯靠脑袋想、不需要查资料的“闭卷脑暴”。下面看具体评测方法的解析1. HLE (wo/w tools) —— 专家级多学科推理项目内容考什么研究生/专家级别的跨学科难题覆盖数学、物理、化学、生物、计算机、历史、文学等几十个领域。无工具闭卷考有工具允许调代码解释器或搜索引擎辅助。真实工作类比战略顾问的案头研究——面对一个陌生领域的复杂问题比如估算某新兴技术的市场渗透率曲线不借助外部资料纯靠脑力拆解逻辑链条、调用跨领域知识做推导。模型无工具有工具工具增益DeepSeek-V4-Pro42.760.017.3Kimi-K343.556.012.5Opus-4.849.857.98.1Fable553.363.09.7差距解读无工具Fable53.3 Opus49.8 Kimi43.5≈ Pro42.7。Fable比Pro高10.6分相当于高考数学150分卷一个考140一个考120——两个档次的差距。有工具Fable63.0 Pro60.0 Opus57.9 Kimi56.0。差距缩小Pro从倒数第一追到第二。工具增益Pro最大17.3说明它遇到难题第一反应是查外援Kimi次之12.5Opus和Fable增益较小因为它们裸考本身就很强工具的边际效益递减。推测原因Fable5预训练阶段投入了远超同行的科学/数学/逻辑类数据且在推理时可能用了多路径采样自我验证技术相当于考试时反复检查三遍才交卷。基底智商天花板最高。Opus-4.8基底模型同样很强49.8但工具增益最小Δ8.1说明它在该不该用工具、怎么用的判断上偏保守或者训练时工具调用的场景覆盖不足。Kimi-K3基底推理跟DeepSeek Pro同一档43.5 vs 42.7工具增益中等Δ12.5。推理底子不突出但工具意识不错。DeepSeek-V4-Pro基底推理最弱但工具增益最大——专门补强了工具调用意识遇到难题立刻调代码解释器用外部计算补内部推理的短板。2. Terminal Bench 2.1 —— 终端命令行操作项目内容考什么模拟真实Linux/SSH服务器环境AI需要自己敲命令完成文件查找、权限修改、网络诊断、服务部署等一系列运维任务。真实工作类比运维工程师/SRE的日常——登录服务器查日志、定位磁盘爆满原因、重启挂掉的服务、排查网络不通的问题。每一步都依赖准确的命令和上下文感知。模型分数排名Kimi-K388.3Fable588.0DeepSeek-V4-Pro87.9Opus-4.885.0第4差距解读Kimi以0.3分险胜Fable以0.4分险胜Pro。前三名差距极小88.3 vs 88.0 vs 87.9基本是误差范围内的平手。Opus落后3分虽然也是顶级水平但跟前三有肉眼可见的差距。推测原因Kimi-K3登顶这是Kimi最亮眼的成绩。推测Kimi在训练时专门强化了Linux/Shell环境交互数据或者在命令记忆和上下文状态保持上有特殊优化比如更长的有效上下文窗口能记住之前敲过什么命令、当前在哪个目录。Fable和Pro紧随其后这类任务已经接近天花板88%再往上提分极难。三者差距极小说明顶尖模型在终端操作上的能力已经趋同。Opus相对落后Opus在学术/理论任务上强但在动手敲命令这类实操任务上训练数据的覆盖可能不如前三者。3. NL2Repo —— 自然语言→完整代码仓库项目内容考什么给一段产品需求描述如做一个带用户认证的博客系统AI需要生成完整的项目代码包含多文件结构、目录组织、依赖配置、数据库Schema等。真实工作类比全栈工程师接需求——产品经理口头说我要一个XXX功能工程师要把它变成一套可运行的代码仓库包括前端、后端、数据库、配置文件一整套。模型分数排名Fable569.7DeepSeek-V4-Pro61.5Kimi-K3—未参与Opus-4.854.2差距解读Fable领先Pro8.2分领先Opus15.5分差距非常明显。通俗说Fable像资深全栈能把模糊需求翻译成结构清晰的工程Pro像高级全栈能做但架构设计没那么老练Opus像中级全栈能干活但架构较乱。推测原因Fable5推理强代码生成强的双重优势。能准确理解需求中的隐含约束如用户认证意味着需要JWT、密码加密、会话管理等并合理拆分文件。DeepSeek-V4-Pro代码生成能力不弱但需求理解自然语言→结构化设计这一步不如Fable——呼应了HLE纯推理偏低的事实理解复杂语义的能力稍逊。Opus-4.8低分比较意外推测Opus在长篇幅、多文件的代码生成上训练数据不足更擅长单文件/单函数级别的代码任务。4. Cybergym —— 网络安全攻防实战项目内容考什么模拟真实网络靶场AI扮演红队攻击方做渗透测试、漏洞利用、提权或扮演蓝队防御方做日志分析、入侵检测、应急响应。真实工作类比安全工程师/红队成员——接到授权后对目标系统进行渗透测试通过信息收集→漏洞探测→利用→提权→持久化的一整套流程验证系统安全性。模型分数排名DeepSeek-V4-Pro83.3Fable583.1Kimi-K380.0Opus-4.878.3第4差距解读Pro以0.2分的微弱优势险胜Fable两者是同一水平。Kimi80.0和Opus78.3落后3-5分属于优秀但不及顶尖。推测原因Pro登顶推理最强的Fable没拿第一反而Pro拿了——说明Cybergym更看重多步骤策略规划和环境试探-反馈-调整的闭环能力而这正是Pro在工具调用上积累的优势。Pro擅长走一步看一步根据报错调整下一步非常适合攻防场景。Fable紧随其后推理强也有用——漏洞分析、代码审计需要深厚的底层理解。但攻防中的试探-调整节奏不是Fable的最强项所以以微弱劣势屈居第二。Kimi第三Kimi在终端操作上很强冠军但安全攻防不只是敲命令还需要漏洞原理理解和对抗性思维这两项Kimi不如Pro和Fable。Opus落后可能Opus在安全领域的数据训练不足或者在对抗性环境下的策略迭代不够灵活。5. DeepSWE —— 真实GitHub Issue修复项目内容考什么基于SWE-bench框架给AI一个真实的GitHub Issue包含大量历史讨论、代码上下文、跨文件依赖AI需要定位bug位置并生成修复补丁通过单元测试才算对。真实工作类比资深软件工程师修Bug——JIRA上扔过来一个积压已久的复杂Issue附带了20条评论、涉及5个文件的代码你要先看懂问题、定位根因、改代码、确保不引入新bug。模型分数排名Fable570.0Kimi-K367.5DeepSeek-V4-Pro62.7Opus-4.858.0第4差距解读Fable领先Kimi2.5分领先Pro7.3分领先Opus12分。通俗说Fable是首席架构师修bug又快又准Kimi是高级工程师能修大部分复杂bugPro是中级偏高级能修但需要更多试错Opus是中级工程师复杂bug容易卡住。推测原因Fable5领先修bug需要极强的长上下文理解Issue里的历史讨论可能有几千字跨文件依赖分析改A文件要连带改B文件。Fable在HLE展现的长链推理能力在这里无缝迁移——定位bug本质上就是一个多跳推理问题。Kimi第二且超ProKimi在Terminal Bench上登顶说明它在状态跟踪上很强这在修bug时也有用——跟踪代码执行路径、变量变化。加上Agents Last Exam的高分说明Kimi在冷门推理上有韧性修bug遇到非常规场景时不容易卡住。Pro第三Pro在Terminal Bench和Toolathlon上的高分说明它在环境交互上很强但DeepSWE更多是阅读理解静态分析不需要频繁与外部交互Pro的工具调用优势发挥不出来。Opus落后跟NL2Repo的情况类似Opus在超长上下文多文件协同的任务上可能训练不足或者上下文窗口虽大但有效利用率不高。6. Toolathlon-Verified —— 多工具API混合调用项目内容考什么模拟真实场景中调用各种外部API完成任务比如查天气→订机票→发邮件通知→写日历日程需要自主规划调用顺序、填对参数、处理返回结果。真实工作类比AI自动化助理——老板说帮我安排下周去上海的出差你需要调航班API查票、调酒店API订房、调日历API占时间、调邮件API发行程单给老板一套流程串下来。模型分数排名Fable577.9Kimi-K376.5Opus-4.876.2DeepSeek-V4-Pro74.1第4差距解读前两名差距1.4分前三名差距1.7分四家差距在3.8分以内——大家都很强属于同一梯队。Pro反而排最后有点意外——毕竟Pro在HLE工具增益上最大。推测原因Fable5推理强在这里依然有优势——理解订出差背后的隐含步骤需要先查航班再订酒店而不是反过来需要常识推理。Kimi-K3第二Kimi在终端操作上登顶说明它在与环境交互这类任务上整体很强工具调用只是延伸。Opus-4.8第三Opus在这个任务上表现意外地好超Pro说明Opus在API调用的规范性和参数准确性上训练扎实属于细致型选手。Pro相对落后虽然Pro在HLE工具增益上最大但那是调用代码解释器做数学计算场景单一。Toolathlon涉及多种异构API航班、酒店、日历、邮件格式各异Pro可能在异构工具编排上不如前两者熟练。7. Agents Last Exam —— 极限冷知识推理项目内容考什么类似HLE但题目更难、更偏门号称AI的终极期末考试覆盖STEM到人文的极难推理题。所有模型得分都极低15-28分属于还没被攻克的基准。真实工作类比学术研究中的跨学科难题——比如结合量子力学和热力学推导某极端条件下的材料特性不是日常工作是前沿科研。模型分数排名Kimi-K327.6DeepSeek-V4-Pro25.7Opus-4.825.7并列Fable5—未参与差距解读分差极小27.6 vs 25.7 vs 25.7Kimi只是微弱领先。Fable未参与。通俗说大家都不会差距可以忽略不计。这个基准的难度远超当前所有模型的能力边界。推测原因分数太接近没有任何统计显著差异。这个基准目前的作用是看谁先突破30分而不是区分25和27。Kimi小幅领先可能说明它在预训练时包含了更多偏门/冷门的学术数据或者推理时对不确定性问题的处理策略更稳健。8. AutomationBench(Public) —— 网页/App自动化操作项目内容考什么模拟真人操作浏览器或手机App——点击按钮、填表单、滚动页面、处理弹窗、拖拽元素等完成多步骤业务流程如在电商网站搜索商品→加入购物车→填写收货地址→下单。真实工作类比RPA机器人流程自动化工程师——给一个电商网站写脚本自动完成批量下单、批量退款等重复操作处理各种页面加载延迟、弹窗干扰等异常情况。模型分数排名DeepSeek-V4-Pro31.8Kimi-K330.8Fable529.1Opus-4.827.2第4差距解读Pro领先Kimi1.0分领先Fable2.7分领先Opus4.6分。但所有分数都很低最高才31.8说明这个基准极难所有模型都只是实习生水平。推测原因Pro登顶这是Pro唯一明显领先的基准。AutomationBench跟Toolathlon类似但GUI操作比API调用更难——页面结构不可控、动态加载、弹窗干扰。Pro在环境感知实时调整上积累的优势Terminal Bench、Cybergym已经证明了在这里再次发挥——它更擅长看一眼当前页面→决定下一步→再看一眼→调整这种闭环。Kimi第二Kimi在Terminal Bench上也是冠军状态跟踪能力强在GUI操作中同样有用。跟Pro的差距很小。Fable第三推理强能帮助理解业务流程但GUI操作更多是感知-行动的实时反应推理优势在这里被稀释。Opus落后跟Toolathlon形成反差——Opus擅长规整的API调用但不擅长不规整的GUI操作说明两者训练的数据类型不同。9. DSBench-FullStack —— 端到端数据科学项目项目内容考什么完成一个完整的数据分析项目数据清洗处理缺失值/异常值、特征工程、模型选择、训练调参、结果可视化、生成分析报告。真实工作类比数据科学家/数据分析师——业务方扔过来一张原始数据表说帮我分析用户流失的关键因素你要从数据清洗开始到最后给出可视化图表和可行动的结论。模型分数排名Fable577.2Kimi-K373.7Opus-4.871.6DeepSeek-V4-Pro71.1第4差距解读Fable领先Kimi3.5分领先Opus5.6分领先Pro6.1分。通俗说Fable是资深数据科学家能独立完成一整套分析报告漂亮Kimi是高级数据科学家能做但不如Fable全面Pro和Opus是高级数据分析师能做但有遗漏或不够深入。推测原因Fable5数据科学需要数学/统计推理Fable强项 代码生成Fable也强 业务理解需要常识推理Fable还是强。几乎每一项都是Fable的舒适区拿第一不意外。Kimi第二Kimi在DeepSWE上表现很好代码能力强加上Agents Last Exam的高分冷门推理有韧性在数据科学全栈上仅次于Fable。Pro和Opus平手Pro在代码生成上略优于Opus但Opus在统计推理上略优于Pro两者互相抵消打成平手。10. DSBench-Hard —— 硬核数据科学难题项目内容考什么DSBench的困难版本包含更复杂的数据泄露检测、非常规模型选型如Gaussian Process、Bayesian Optimization、高维超参调优、以及陷阱题目看似应该用A方法实则要用B方法。真实工作类比顶尖数据科学家/机器学习研究员——处理Kaggle竞赛中排名前1%的难题需要对算法原理有深刻理解而不是调个XGBoost就跑的程度。模型分数排名Opus-4.871.7Fable568.3DeepSeek-V4-Pro67.2Kimi-K363.0第4差距解读Opus意外登顶领先Fable3.4分领先Pro4.5分领先Kimi8.7分。通俗说Opus在硬核数据科学上是首席科学家Fable是资深研究员Pro是高级研究员Kimi是中级研究员——差距拉得比较开。推测原因Opus-4.8登顶这是Opus唯一夺冠的基准且是在最硬核的版本上。说明Opus在高阶统计学、实验设计、陷阱识别方面有独特优势。可能Opus的训练数据中包含了大量学术论文级别的数据科学/机器学习内容比如NeurIPS、ICML论文而Fable和Pro更偏向工程代码类数据。Fable第二纯推理强能覆盖大部分题目但在陷阱识别知道什么时候看似正确的方法其实有数据泄露上不如Opus——这类问题需要更精深的统计学直觉而不是通用推理。Pro第三Pro的强项在动手执行而非方法设计遇到需要深刻理解算法原理的难题时短板暴露了。Kimi第四且落后较多Kimi的训练数据偏向工程实操终端、工具调用、修bug而不是学术理论统计学、实验设计。在硬核数据科学上Kimi的学术底子最薄。 最终总结四家画像模型一句话定位最强领域冠军项明显短板Fable5全能学霸推理、代码、数据科学全面顶级几乎无短板HLE、NL2Repo、DeepSWE、Toolathlon、DSBench-FullStack共5项冠军AutomationBenchGUI相对最弱但也不差DeepSeek-V4-Pro实战派干将强在环境感知实时调整安全攻防和GUI自动化独强Cybergym、AutomationBench共2项冠军HLE工具增益最大HLE无工具纯推理垫底、DSBench-Hard硬核理论Kimi-K3终端之王工程强者终端操作登顶修bug和极限推理也很强Terminal Bench、Agents Last Exam共2项冠军DSBench-Hard硬核数据科学明显落后比Opus低8.7分Opus-4.8学术派专家统计学和实验设计登顶API调用规范DSBench-Hard共1项冠军NL2Repo、DeepSWE长篇幅代码生成/修bug明显落后 深层原因推测Fable5为什么全面领先大概率是参数规模最大 训练数据最全 推理时计算最多的三重叠加。它的智商天花板最高能覆盖绝大多数任务类型——无论是推理、代码、工具调用还是数据科学都在第一梯队。DeepSeek-V4-Pro为什么能在动手任务上追平甚至反超训练时专门强化了工具调用、环境交互、状态跟踪的能力。它可能用了大量AI操作电脑/终端/浏览器的轨迹数据做训练专门补强了感知-行动闭环。代价是纯脑力HLE无工具弱一些硬核理论DSBench-Hard也不及Opus。Kimi-K3为什么终端登顶、但数据科学垫底Kimi的训练数据很可能偏向工程实操——Linux操作、代码调试、工具调用。这让它在Terminal Bench和DeepSWE上表现亮眼。但学术理论类数据统计学、实验设计、高阶ML的覆盖不足导致DSBench-Hard上被Opus拉开8.7分的大差距。Opus-4.8为什么数据科学登顶、但代码生成垫底跟Kimi正好相反——Opus的训练数据中包含了大量学术论文级别的统计学/ML内容这让它在需要深刻理解算法原理的DSBench-Hard上夺冠。但工程类数据多文件代码生成、修bug不足导致NL2Repo和DeepSWE上排名靠后。一句话总结四家的数据配方差异Fable全科教育门门高分Pro职业教育动手能力极强Kimi工科教育终端和工程扎实Opus理科教育理论和统计精深