生产告警分级与降噪：P0才打电话的决策树

先判断用户有没有受到影响，再选电话、值班群或日报。静默要有到期时间，不要删掉唯一的信号。

目录

• 一条告警该不该存在
• 等级和渠道
• 降噪的四种做法
• Prometheus 可复制示例
• 开工前只读盘点
• 静默、抑制和回滚
• 回滚成本
• 反序会怎样
• Checklist 与变更单

前言

告警疲劳通常不是阈值「太敏感」四个字能概括的。更多情况是：没有用户影响的毛刺走了电话，十个实例同一根因刷了十次，恢复也在响，而且没有人认领。分级要先做，通知渠道后做。

本文给一套可以落地的 P0–P3。Prometheus 表达式用占位指标。入口 5xx 要加请求下限、缺数用 notBreaching，那是另一套 CloudWatch 写法，这里不重复公式。定时任务「调用变成 0」也不能把缺数当成恢复。

标签：监控告警、SRE、Prometheus、On-Call、告警降噪

一、一条告警该不该存在