/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */
#content_views .toc,
/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */
#content_views.markdown_views > p:empty:has(+ .toc),
#content_views.markdown_views > .toc + p:empty,
/* 富文本旧版目录标记 */
#content_views.htmledit_views #main-toc,
#content_views.htmledit_views #hr-toc,
#content_views.htmledit_views p[id*=\”-toc\”] {
display: none !important;
}
/* 目录去掉后,紧跟的首个标题不再多出一块上边距 */
#content_views.markdown_views > .toc + h1,
#content_views.markdown_views > .toc + h2,
#content_views.markdown_views > .toc + h3,
#content_views.markdown_views > .toc + h4,
#content_views.markdown_views > .toc + p:empty + h1,
#content_views.markdown_views > .toc + p:empty + h2,
#content_views.markdown_views > .toc + p:empty + h3,
#content_views.markdown_views > .toc + p:empty + h4 {
margin-top: 0 !important;
}
工业网关数量多、分布散、现场环境复杂,靠"救火式"传统运维撑不起来,SRE(Site Reliability Engineering)的工程化方法才是正解。本文从工程实战角度梳理 SLO、错误预算、Toil 消除、应急响应与复盘的落地方法。
一、为什么需要 SRE
传统运维的痛点:
- 救火多:故障驱动,疲于奔命,没有时间做改进
- 缺方法:可靠性目标说不清,"稳定不稳定"全凭感觉
- 不可持续:运维人力随网关数线性增长,规模一大必崩
SRE 的核心思路:用软件工程的方法做运维 — 目标量化、预算约束、重复工作自动化、故障复盘对事不对人。
二、四个核心原则
原则 1:SLO 驱动
- 可靠性目标必须量化(SLO),不量化就无法管理
- 指标(SLI)要可采集、可计算,与用户体验直接相关
原则 2:Error Budget(错误预算)
- 100% 可靠既不现实也不必要 — 预算内的错误是"合理成本"
- 预算用完就冻结功能发布,优先修可靠性,把可靠性决策变成数据决策
原则 3:Toil 消除
- Toil = 重复、手工、无长期价值的运维工作
- Toil 占比要测量(一般控制在 50% 以内),持续自动化消除
原则 4:Blameless 复盘
- 故障复盘对事不对人,追系统性根因而非责任人
- 有罪文化只会让所有人学会掩盖问题
三、SLO 制定
service: edge–gateway
slos:
– name: availability
sli:
good: sum(rate(http_requests_total{code!~"5.."}[5m]))
total: sum(rate(http_requests_total[5m]))
objective: 0.995
window: 30d
– name: latency_p99
sli:
good: sum(rate(http_duration_bucket{le="1"}[5m])) # 1 秒内
total: sum(rate(http_duration_count[5m]))
objective: 0.99
window: 30d
要点:
- 每条 SLO = 指标定义(SLI)+ 目标值(objective)+ 统计窗口(window)
- 从少量关键 SLO 起步(可用性 + 延迟),别一上来定十几条,定了也维护不过来
- 目标值别拍脑袋写 99.99%,要结合业务容忍度与当前实际水平
四、Error Budget Policy(预算策略)
class ErrorBudgetPolicy:
def __init__(self, slo, window="30d"):
self.slo = slo
self.window = window
async def check(self):
actual = await self.measure_sli() # 实际 SLI(0~1)
budget_total = 1 – self.slo.objective # 允许的错误率
actual_error = max(0.0, 1.0 – actual) # 实际错误率
budget_remaining = max(0.0, budget_total – actual_error)
if budget_remaining < budget_total * 0.1:
await self.freeze_releases() # 预算将尽:冻结发布
await self.alert("error budget low")
elif budget_remaining < budget_total * 0.5:
await self.warning("error budget half")
要点:
- 原文的 budget_consumed = objective – actual 是错误的 — 允许的错误预算是 1 – objective(如 0.5%),消耗应是与"实际错误率"的比较,已修正
- 策略要提前约定并执行:预算耗尽 → 冻结功能发布、只允许可靠性修复;这是 SRE 有别于传统运维的硬约束
五、Toil 测量
class ToilTracker:
"""追踪重复手工工作,为自动化提供依据"""
async def record(self, task_type: str, duration_minutes: int):
await db.execute(
"""INSERT INTO toil_log (task_type, duration, timestamp)
VALUES ($1, $2, NOW())""",
task_type, duration_minutes,
)
async def report(self, days: int = 30):
# make_interval 支持参数化,不能把 $1 写进字符串字面量
result = await db.fetch_all(
"""SELECT task_type, SUM(duration) AS total
FROM toil_log
WHERE timestamp > NOW() – make_interval(days => $1)
GROUP BY task_type
ORDER BY total DESC""",
days,
)
return result
要点:
- 原文 SQL 的 INTERVAL '$1 days' 是错的 — $1 在引号内只是字符串,不会被当作参数占位,执行直接报错;PostgreSQL 应使用 make_interval(days => $1)
- 每月复盘 Toil 排行,把头部项列入自动化计划;Toil 占比超过 50% 就是危险信号
六、应急响应
class IncidentResponse:
SEVERITY_SLA = {
"P1": {"response": 5, "resolution": 60}, # 分钟
"P2": {"response": 30, "resolution": 240},
"P3": {"response": 120, "resolution": 1440},
}
async def trigger(self, severity, description):
incident = await self.create_incident(severity, description)
# 自动通知:呼叫 oncall + 建应急群
await self.page_oncall(severity)
await self.create_chat_channel(incident.id)
# 自动启动对应 Runbook
await self.start_runbook(incident.type)
return incident
要点:严重度分级(P1 / P2 / P3)配响应与解决 SLA,并自动触发呼叫、建群、启动 Runbook — 应急响应的每一步都应该是流程化的,不依赖"谁在线谁处理"。
七、Blameless Postmortem(无责复盘模板)
# Postmortem: <title>
## Timeline
– 10:00 – Alert triggered
– 10:05 – Oncall acked
– 10:15 – Root cause identified
– 10:30 – Mitigation deployed
– 11:00 – Service restored
## Impact
– Duration: 60 min
– Affected users: …
– Revenue impact: …
## Root Cause
系统性根因(为什么流程/架构允许它发生)
## Action Items
– [ ] Fix the immediate bug
– [ ] Add monitoring
– [ ] Update runbook
– [ ] Document lesson learned
## What Went Well
做对的事
## What Went Wrong
做错的事
要点:每条 Action Item 落人到期限,下次复盘先检查上次项完成情况;模板本身就是为了防"复盘变批斗"。
八、Runbook(应急手册)
# Runbook: High Latency
## Detection
Alert: HighLatency(p99 > 1s 持续 5m)
## Investigation
1. 检查 Grafana dashboard 确认范围与起始时间
2. 沿 Trace 定位慢请求集中在哪个服务
3. 检查 DB 慢 SQL
4. 检查缓存命中率是否骤降
## Mitigation
1. 临时:扩容 Pod
2. 缓解:开启缓存
3. 根本:优化查询并回归验证
## Escalation
– L1 oncall: …
– L2 oncall: …
要点:Runbook 是给"凌晨三点值班的人"看的 — Detection / Investigation / Mitigation / Escalation 四段式,每条告警都应有对应 Runbook,没有的告警要么补手册要么删掉。
九、几条工程实践
实践 1:SLO 优先
- 先定可用性与延迟两条核心 SLO,再谈其他
- SLO 数据看板全员可见,可靠性变成公共语言
实践 2:Error Budget 量化决策
- 预算耗尽即冻结发布,规则提前公布、一视同仁
- 发布节奏与预算余量挂钩,避免"边坏边加功能"
实践 3:自动化消除 Toil
- 头部 Toil 项排期自动化,效果用 Toil 占比下降验证
- 常态操作(扩容、重启、清理)一律自动化,不留手工路径
实践 4:Blameless 文化建设
- 复盘由流程模板驱动,管理者带头不追责个人
- 故障报告全员开放,把教训变成组织资产
实践 5:Runbook 沉淀
- 每条告警绑定 Runbook,处理完故障随手更新
- 定期演练 Runbook,过时的步骤当场修订
十、几个常见的坑
坑 1:无 SLO
- 可靠性无目标,优化与取舍全凭感觉,吵不出结论
- 应对:先定两条核心 SLO,用数据管理可靠性
坑 2:Toil 泛滥
- 人力被重复操作吃光,没精力做自动化与改进
- 应对:Toil 测量 + 头部项自动化,占比控制在 50% 以内
坑 3:有罪文化
- 故障后先找人背锅,团队学会隐藏问题,小故障拖成大事故
- 应对:Blameless 复盘,追系统性根因
坑 4:无 Runbook
- 应急靠个人经验,人不在场就干瞪眼
- 应对:告警绑定 Runbook,持续沉淀与演练
坑 5:告警与 Runbook 过期
- 版本演进后监控失效、Runbook 步骤过时,应急时全是错信息
- 应对:升级回归跑监控与演练(GameDay),文档随版本维护
十一、运行时层在 SRE 中的角色
可靠性不只在应用层。边缘运行时层(容器调度、设备接入、数据面)应原生提供:
- SLO 数据:运行时健康指标开箱接入 SLO 体系
- 自动化基座:自愈(自动重启、故障转移)由运行时兜底
- 应急集成:运行时事件自动触发告警与 Runbook
- 长期演进:可靠性能力随版本平滑升级
运行时层兜住基础可靠性,应用层才能专注于业务逻辑。
十二、TL;DR
- 原则:SLO 驱动 / Error Budget / Toil 消除 / Blameless 复盘
- SLO:SLI + objective + window,从两条核心指标起步
- 预算:允许错误率 = 1 – SLO,耗尽即冻结发布
- Toil:测量占比,头部项自动化,控制在 50% 以内
- 应急:P1 / P2 / P3 分级 SLA,自动通知 + Runbook
- 复盘:Blameless 模板,Action Item 落人落期限
- Runbook:Detection / Investigation / Mitigation / Escalation 四段式
- 坑:无 SLO / Toil 泛滥 / 有罪文化 / 无 Runbook / 告警过期
下一步建议
Zenova EdgeOS 提供完整的工业边缘可靠性方案,基础 License ¥400/台起。 了解完整方案 →
网硕互联帮助中心




评论前必须登录!
注册