1. 自动化做得越好,为什么反而越痛苦
先说一个我在多个团队里反复看到的现场:DevOps自动化已经推进得相当不错了,流水线全自动、配置即代码、环境一键拉起、监控告警铺满大屏。但真正一到线上出故障,值班工程师的操作路径并没有变短,决策半径反而变大了。自动化让交付速度上去了,变更次数多了,系统复杂度也上来了;故障的诱发面变广了,需要人来判断"现在到底出了什么问题、这次变更要不要回滚、这条告警是不是同一个根因"的次数,跟着猛涨。
有个词叫toil的转移,特别能描述这个状态。以前运维的苦是重复操作的苦,脚本一写、工具一上一部分确实消掉了;但剩下的活全是判断型工作:这条告警为什么来、那个指标为什么掉、新旧依赖为什么冲突。这类工作没法用自动化脚本直接消灭,它消耗的是资深工程师的认知带宽。所以很多团队会出现一个反直觉的现象:自动化覆盖率越高,on-call工程师的疲劳度不降反升。问题不在DevOps本身做错了,而是自动化这个阶段的天花板刚好就卡在"机器能把事做完,但判断依然靠人"。
这也是我理解的2026年这个时间点上DevOps往AIOps走的真实驱动力。不是别人都在搞AI我们也要搞,而是自动化已经触到了人的决策瓶颈。AIOps要接力的不是操作层,恰恰是判断层。它把"监控数据"变成"可执行的建议",把"告警列表"变成"故障解释",把"变更后需要人盯一小时"变成"系统自己判断风险并决定是否回滚"。这一步走通,自动化才真正进化成自主化。
这里有必要先拧清一个概念:自主化不等于无人化。我在内部汇报时经常用一个类比——自动驾驶L2到L3的区别。L2是系统帮你刹车、帮你跟车,但你得盯着路;L3是系统自己开,你只要在系统搞不定的时候接过去。AIOps的自主化阶段类似:系统自己做异常检测、自己做根因推断、自己尝试修复,但在风险高、置信度低、合规敏感的操作上,必须把控制权交回给人。2026年谈的所谓自主化,不是把人拿掉,是把人从"每件事都要亲自动手"变成"按风险把控制权分级让渡给系统"。
所以在往下讲技术之前,我建议所有准备搭AIOps的团队先想清楚一件事:你要解决的到底是"告警太多"这个表象,还是"决策负担太重"这个本质。如果只是告警合并、去重、压缩,那叫告警治理,不叫AIOps。真正的AIOps是从感知到决策再到行动的完整闭环。带着这个标准去选平台、定目标、做评估,后面每一步才不会偏。
2. AIOps不是把告警变聪明,而是重新切分决策权
AIOps这个词在行业内快被说烂了。有些厂商把"告警降噪""日志聚类""指标异常检测"都包装成AIOps;有些平台号称接入了大模型,实际做的只是把告警内容翻译成更自然的一句话。这些能力有用,但它们只是AIOps这栋楼的地基和装修,不是主体结构。
我倾向于用一个更朴素的定义去看AIOps:一套能对系统状态进行感知、解释、预测并采取行动的技术体系。拆分下来是四件事:
- 感知:从指标、日志、链路追踪里识别出"系统正在发生什么",核心是异常检测与告警聚类;
- 解释:回答"为什么会发生",核心是根因分析、事件关联、变更影响推断;
- 预测:回答"接下来会发生什么",核心是容量预测、变更风险评估、故障传播推演;
- 行动:回答"应该怎么办",核心是预案匹配、自动化修复、变更闸门和回滚决策。
很多团队的AIOps项目停在感知和解释这两层,因为这两层相对好落地,模型精度可以量化,故事也好讲。但真正让运营效率发生质变的,是预测和行动这两层。一个系统能准确告诉你"现在挂了",和它能告诉你"这次发布有87%的概率会引起支付超时,建议暂缓",是完全不同的价值层级。前者减少的是排查时间,后者减少的是事故本身。
决策权的切分是另一个核心问题。传统模式下,决策权天然长在人身上:报警了人来看,变更后人盯着,出事了人来定回滚。AIOps要把一部分决策权让渡给系统,但不能一刀切全让。我的实践经验是按风险级别分三层:
- 低风险决策(告警聚类、事件自动分派、日志归档)——系统直接决定,不需要人审批;
- 中风险决策(疑似根因排序、变更影响面预测、预案推荐)——系统产出建议,人来确认;
- 高风险决策(自动回滚、扩缩容、故障自愈脚本执行、变更拦截)——系统可以先做预演和评估,真正执行时保留人的否决权。
这里最怕的是一上来就追求"全自动修复"。我在一个支付系统团队见过一次事故:AI检测到数据库连接池异常,自动触发重启脚本,结果重启时把主备切换也带了进去,导致更长时间的不可用。这类事故的教训不是AI不能做修复,而是你在没有给足上下文边界和熔断条件的情况下,就先把高风险操作交给了系统。自主化是按阶梯渐进的过程,不是一次性的开关。
还有一个常见误解跟大模型有关。很多人觉得AIOps一定要上大模型,不上就不叫AI。我的看法是,AIOps的核心推理逻辑(异常检测、时序判断、根因链路分析)跟大模型关系不大,很多经典算法在准确率和稳定性上反而更好。大模型的价值在语义层:把告警生成可读的解释、把历史故障总结成预案文档、用自然语言让工程师查询系统状态。把大模型用在这些地方,比逼它去做数值异常检测靠谱得多。工具各归其位,效果才会好。
3. 从自动化到自主化的四个阶段:别想一步跨到终局
每次有人问"我们团队怎么开始AIOps",我给的回答都是:先定阶段,再谈方案。自主化不是某一个平台上线的瞬间,而是系统能力逐层升级的过程。我一般把它拆成四个阶段,每个阶段有明确的输入、输出和人机边界。这么做有两个好处:一是团队能看到一步步的回报,不会因为前期没效果而放弃;二是每个阶段都能积累数据,后一阶段的能力其实都长在前一阶段的数据和反馈上。
阶段一,感知智能化。核心是把"看懂系统状态"这件事部分交给机器。典型场景:把原有的告警风暴压缩成按事件聚类的告警组,把基础指标交给时序异常检测模型来打标签,把日志里的重复错误归并成特征模式。人的角色还是主力,但值班工程师看的页面从几百条告警变成几十个事件。这个阶段不需要复杂架构,已有监控数据+一套异常检测服务+告警聚合引擎就能跑起来。我见过最快的团队六周上线,因为它只解决一件事:减少人肉看告警的时间。
阶段二,诊断智能化。核心是回答"为什么"。在这个阶段,AIOps系统要把指标异常、日志报错、链路追踪里的延迟突刺、变更记录这几类异构数据串联起来,给出"最可能的根因排序"。实现上可以采用基于知识图谱的关联分析,也可以先用规则把"变更事件-指标波动-错误日志"的关系连起来,再用排序模型做根因打分。这个阶段的价值最直观,因为它直接把MTTR的平均耗时从"几个工程师开会排查一小时"压缩到"系统五分钟给出Top3原因,人来复核"。注意,这里系统给的是候选解释,不是最终结论;人在这个阶段依然是关键的决策者。
阶段三,预测与决策支持。系统开始回答"接下来会怎样"和"该不该做"。典型能力包括:变更风险评估(发布前基于历史数据和当前依赖关系预测故障概率)、容量预测(根据流量趋势和资源水位预判扩容时点)、故障传播推演(某个节点异常后可能影响的上下游范围提示)。到这个阶段,AIOps已经介入运维决策流了,它可以在CI/CD流水线里当一个自愈的发布闸门角色:评估风险偏高时自动拦截发布,风险偏低时放行。人会介入审批,但决策草案已经由系统完整给出。
阶段四,行动自主化。系统不只建议,还可以在授权范围内执行操作。常见场景:低风险故障的自动处置(如缓存集群的连接数异常时自动重启连接池)、弹性扩缩容策略的自动执行、变更失败后的自动回滚预案。这个阶段强调"人在回环,而非人在回路外":不是人什么都不管,而是系统只在预设策略和风险边界内行动,碰到超出边界的场景立刻升级给人。我在前面讲过的数据库连接池事故,就是没设好边界就进入了阶段四的典型反面教材。
这四个阶段的推进节奏,我的建议是:绝大多数团队先扎实做阶段一和阶段二,把数据链路和评估机制跑通,再考虑阶段三;阶段四只适合SRE成熟度非常高、变更流程和数据质量都经过反复检验的团队。因为阶段四的实际考验不是AI模型,而是你系统和组织对AI出错的兜底能力。
4. 平台搭建的真问题:数据、模型、流程、人的顺序不能错
很多团队搭AIOps平台时容易犯一个很自然的错:先选模型,再找数据。有人力推深度学习时序模型,有人觉得必须上大模型做根因分析。我见过几个项目死在同一个地方——模型能力还没验证,先花费大量时间在数据接入、清洗和标准化上,业务方看不到效果就撤了预算。后来我们把顺序彻底调过来:先做数据,再做模型,而且模型先选简单可靠的方案。
数据层面,有一个关键动作:运维数据的可观测性三支柱(指标、日志、链路追踪)必须先做到关联打通。很多公司这三套数据分别存在三套系统里,时间戳口径都不一样,事件和指标对不上轴,AI模型再强也只能学出一堆噪声。我建议在搭任何一个AI能力之前,先做一版轻量的数据中台:统一时间标准、统一实体标识(服务名、主机名、实例ID),把指标事件流、日志事件流、变更事件流和链路数据落到同一个存储里。这个工作不性感,但它决定了后面所有模型的天花板。数据没打通,告警聚类都做不干净,根因分析更无从谈起。
模型层面,我个人的强烈建议是:优先走"经典方法+轻量学习"的路线。时序异常检测用差分、滑动窗口、加一个轻量孤立森林或者统计过程控制方法,在很多场景下已经能覆盖80%的异常形态;告警聚类的核心是特征哈希和相似度计算,不需要上深度模型;根因分析可以先做基于规则的依赖链剪枝,再拿历史故障标签去训练一个排序模型。这些方案部署成本低、可解释性强、出问题了容易修。大模型更多用在对人交互的场景:把根因分析的结果生成自然语言报告、把历史处置过程总结成预案、做成运维知识库的问答入口。把工具用在它擅长的地方,这是模型选型的第一原则。
流程层面,最容易被忽略的是评估机制。我每次都会问团队一个问题:你怎么知道你的AIOps做得好不好?大部分团队答不上来。AIOps必须建立一套可持续的评估闭环,否则你无法判断模型升级到底是变好了还是变坏了。做法是:从历史故障和告警事件里整理一个带标签的基准数据集,异常检测看F1,根因分析看Top3命中率,风险评估看拦截准确率和漏判率。每次模型迭代都在这个基准上跑回归。没有这个基准,AI能力就是空中楼阁。
人的角色,即使在最"智能"的系统里也必须明确。我推荐在团队里设一个AIOps策略负责人,这个角色不一定是算法工程师,更应该是懂业务、懂运维、懂数据的资深SRE。他负责定义风险边界、梳理可交给系统的决策清单、评估模型输出质量、处理系统判断错误的案例。自主化的本质是人和系统共同演进,缺少这个角色,系统就会变成一头失控的大象。
5. 平台工程与AIOps并行:两条线的交汇正改变SRE团队结构
谈AIOps总绕不开平台工程这个话题。很多人把它们当成两条平行线:平台工程搞内部开发者平台,AIOps搞智能运维。但在实际推进过程中,它们在2025年之后就明显交汇了,到2026年几乎已经变成一件事的两面:平台工程提供的标准化基础设施、统一服务目录、标准化部署单元,恰好是AIOps做事件关联和变更影响分析的数据基础;反过来,AIOps的智能诊断和风险预测能力,又是平台工程里"开发者自助服务"和"安全发布"的关键支撑。
以变更影响分析为例,AIOps要做一次发布风险评估,前提是平台里必须有一套准确的服务依赖关系图。服务在哪个命名空间、依赖哪些数据库和消息队列、上游下游是谁,这些元数据如果散落在各团队运维笔记里,AI再聪明也算不出影响面。平台工程把服务注册、依赖关系、资源配置统一管起来之后,这个难题就自然解掉了一大半。所以我的建议是:如果公司还没有一个像样的平台工程团队,AIOps的落地速度一定会被拖累;反过来,如果平台工程只是做工具接入而不沉淀数据资产,那它离AIOps的价值兑现也还有很大距离。
这个交汇直接改变了SRE团队的能力模型。我观察到很多团队今年的招聘指标已经不是单纯的"懂k8s+懂监控",而是开始加上了数据分析、模型评估、prompt调试、风险策略设计这些偏算法和产品向的要求。传统SRE负责写脚本、调告警、做容量评估;新一代SRE要在此基础上,能把运维场景翻译成AI问题——知道什么样的异常形态适合用什么检测算法,知道根因分析结果的置信度怎么设计,知道哪些变更策略可以交给自动化决策。这不是要把运维工程师逼成算法工程师,而是需要他们具备与算法工程师对话的能力、定义问题的能力。
组织协作的另一个变化是:AI平台的性能测试和业务连续性,开始成为平台评审的重要部分。我在帮一个金融客户设计AIOps架构时,他们专门要求评估系统做推理时单次请求的P99延迟不能超过200毫秒,连续可用性要达99.95%。这不是苛求,因为在故障场景下,时间窗口非常短,AI再聪明,如果评估一个变更风险要等30秒,值班人员早就已经手工回滚了。AIOps系统本身也需要弹性容灾,模型服务挂了不能连带监控系统一起挂。这要求平台设计上要做模型服务的高可用和多级降级方案。
从团队结构上看,我倾向于在AI能力比较薄弱的阶段,先让算法团队和SRE团队共组一个"运维AI专项小组",每周固定排期对齐需求。到阶段三以后,再逐步把这支小组的能力内化到SRE团队里,算法工程师从常驻变成按需支持。这个方法的好处是:前期业务量少,专项小组可以直接冲在最前面快速出成果;后期能力沉淀完成,专项小组散开,把AI能力变成每个SRE的日常工作方式。我试过几种组织模式,这个过渡节奏是最平滑的。
6. 边界与红线:哪些操作不能轻易交给AI
AIOps讲到最后,锋芒都落在边界上。2026年技术能力早就不是瓶颈,该问的问题变成了:哪些事可以让系统做,哪些事必须留给人?哪些错误AI可以犯,哪些错误一旦犯就不可接受?这套边界规则,必须以红线的形式写进系统设计和组织流程里。
第一类不可逾越的红线是合规责任。金融、医疗、政务这些强监管领域,审计日志必须记录每个线上变更的最终决策人。AI可以建议、可以准备预案、可以做预演,但"谁签发的变更"这个法律责任,必须是具体的人。我见过一个团队想用AI全自动完成数据库schema变更,被合规部门因为审计要求直接打回。技术上行得通,制度上行不通,这就是现实。自主化设计页面必须支持"决策责任人字段",系统操作记录必须能追溯到人。
第二类是故障自动修复的熔断与升级机制。AI在阶段四可以执行一些自愈操作,但它自身也可能出错。必须给自动修复这个动作本身加一层保护:AI触发修复操作之前,要确认在预定义的风险参数范围内;如果连续两次修复尝试都没有让指标恢复,系统必须立即停止自动动作并升级到人工响应。这个"两振出局"策略从源头上防止了AI在错误方向上反复重试,我在多个生产事故复盘里都验证过它的必要性。
第三类是变更发布的高风险决策。发布是运维里最危险的动作之一,AIOps可以给出风险预测和拦截建议,但最终"发布通过"这个动作,在绝大多数成熟团队里仍然需要一个有经验的工程师拍板。原因在于:每一次发布的社会技术复杂性人们还没有完全找到量化方式,AI能捕捉历史模式,但很难建模"这次发布涉及新老团队的沟通盲区""下游服务最近刚经历架构调整但文档没更新"这类隐性问题。人的直觉+AI的数据判断,在变更闸门上是最稳的组合。
第四类是训练数据的时效性。AIOps模型依赖历史数据训练,但系统架构在持续演进。去年几乎没有的服务,今年成了核心链路;过去从不告警的接口,因为业务变化开始频繁报错。如果模型的训练数据窗口不跟上架构演进,它的"经验"就可能是过时的。所以必须建立数据新鲜度监控:模型训练集里服务生命周期与当前服务目录的匹配度,要定期比对;发现新服务、新依赖出现而模型不认识时,自动降级为传统规则方式运行。宁可用保守规则,也不要让模型用错误认知去做判断。
边界问题还涉及成本。自建AIOps需要持续投入数据工程师、算法工程师、算力和平台维护成本;采购商业平台则面临数据出域和模型黑盒问题。我的判断标准很简单:如果你的团队连阶段一的数据打通和告警聚类都还做不利索,先别急着自建大模型和高级分析,用成熟的规则和轻量算法跑起来再说,把省下的钱投到数据质量和评估体系上。自主化是经营决策,不是技术选型;健康的推进节奏,比幅度本身更重要。