前阵子有起缓存击穿事故(热点缓存到期失效,原本该走缓存的请求瞬间全砸到数据库上),事故本身三分钟,后续的复盘会却开了两个钟头——大半时间花在了对时间线。运维说他 19:42 就看到告警响了,DBA 说他是 19:51 才接到电话,我说我那次配置变更是 19:40 发的,三份记录,三个说法,谁也说服不了谁。
这还算体面的,至少我们把会开起来了。瓶颈找完、方案上线,万一还是出了事故怎么办——上次结尾我留了这个话头,这篇就来兑现。复盘在各家的真实处境,十家里有八家差不多:事故当周信誓旦旦要复盘,两周后文档还躺在草稿箱,再往后连草稿箱都没人翻了。难在哪?日志在一套系统,告警在另一套,变更单得单独翻,群里吵架的记录还散落在别的犄角旮旯——全要人肉翻、人肉对,拼一份完整时间线的功夫,够写两篇周报。
容我扯句闲篇:我见过最离谱的复盘现场,是两个人为了告警到底是 42 分还是 43 分响的争了十分钟,争着争着发现,一个看的是短信平台的时间,一个看的是监控面板的时间——那两台机器的时钟差着一分多钟。时间线还没拼,先输给了时钟。
从那次复盘会之后,我决定把这活交给 Agent(智能体,让大模型自己规划步骤、调用工具干活的系统)。现在事故一稳定,它半小时内就能交出时间线初稿:告警记录、变更单、日志错误分布、群里的关键消息,按统一时间轴拼好,每条事件后面缀着证据出处——哪条日志、哪张工单、哪条告警,点过去就能核。我做的只剩一件事:审。
就说那次缓存击穿。Agent 拼的时间线里有个我压根没想到的发现:从告警响起到有人响应,中间空了六分钟。不是没人值班,是值班告警走的是邮件渠道,而邮件被规则归进了「订阅邮件」分组,安安静静躺了六分钟。复盘会上谁都说不清「为什么响应慢」,时间线一摆,答案自己浮出来了。这种事靠人回忆是想不起来的——谁能记得一封邮件被分到了哪个文件夹。
它是怎么拼的,说穿了不复杂。告警按时间戳(记录事件发生时刻的标记)导出,变更按发布记录导出,日志按错误关键字聚合,群消息按关键词检索,然后统一对轴。对轴之前还有道容易漏的工序:先校验各系统时钟可不可信。机器时钟会漂移(与真实时间慢慢偏离),不对齐的时间戳拼出来的顺序本身就是错的——时区与时钟的坑我以前单独写过一篇,这里只提醒一句:这道校验不做,Agent 拼得越勤快,错得越整齐。
拼时间线最大的坑,是它会把时间上挨着的事串成因果。那晚我发过一次配置变更,八分钟后事故爆发,初稿里它把我的变更写成「疑似触发因素」——实际上那两件事半点关系没有,变更是另一个服务的。扯开一句,这真不怪它笨:复盘会上把「挨得近」听成「因为所以」的人,我也见过好几回。时间相邻不等于因果相关,这个判断 Agent 下不了,必须人来划。我的规矩是:它给的「疑似因果」全部标注存疑,会上逐条过。
时间线只是复盘的前半场。真正让复盘烂尾的,是后半场——改进项。会上一腔热血定了七八条,散会写进文档,从此生死两茫茫。三个月后问起来谁认领哪条,一半人对不上号;查工单,好几条压根没开过单子。复盘的价值全在改进项落地,可改进项偏偏死得最快。
所以我让 Agent 把改进项当活物管。每条登记认领人、对应工单号、目标日期;每周扫一遍:工单开了没有,代码里有没有对应提交,配置改没改,告警规则建没建。哪条逾期没动静,提醒自动发到群里。上个月我查了下它的周报,八条改进项活着六条,剩两条被它连续催了三周,终于有一条上周合进了代码。
追踪里最刁钻的是「纸面完成」:工单关了,备注写着「已加固」,代码里什么都没动。Agent 查表面动作一查一个准,改没改到点子上还得人复核。我现在让它做交叉验证:说改了配置,就去比对配置快照的前后差异;说加了监控,就去告警系统里查那条新规则到底存不存在。两边对不上,直接标「存疑」打回。
丑话说在前面。Agent 能整理「发生了什么」,读不出「为什么会发生」里的组织因素——为什么告警会走邮件渠道?为什么值班表排了个刚入职两周的人?这些是流程和人的账,日志里没有答案。还有更扎心的:复盘文化不对的团队,这套东西帮不上忙甚至帮倒忙——要是复盘的目的是找出背锅的人,时间线拼得越清楚,锅甩得越快。工具放大的是流程本身,流程烂,放大的是烂。
什么团队值得上?服务多、日志分散在好几套系统、事故复盘动辄拖一周的,Agent 拼时间线立竿见影——半小时的初稿,换复盘会上省下的一个钟头,这笔账怎么算都划算。
反过来说,日志没有留存策略的先别急——事故日志三天就滚没了,Agent 巧妇难为无米之炊;单体应用、日志单文件的,肉眼半小时的活,上它属于杀鸡用牛刀;复盘是追责导向的,先把文化掰过来再谈工具,顺序不能反。
把这条线捋直了看:上次说的是事故没发生时,Agent 替你盯监控找瓶颈,管的是事前;这篇管的是事后——事故发生了,怎么让复盘不做烂。中间那三分钟的系统扛不扛得住,还是得靠你自己的架构,Agent 替不了。
临收笔,把一个问题搁在评论区:你们上一回事故的复盘文档,改进项清单还剩几条是活着的?有没有哪条当初信誓旦旦,现在连工单号都查不着?要是让 Agent 替你盯改进项,你最怕它盯出什么来?
下一篇预告:预案写得再全,躺在文档里没人演练也是白搭。聊聊让 Agent 对着预案做桌面推演,量一量你的预案和真实事故之间,差着几条命。
网硕互联帮助中心


评论前必须登录!
注册