大促前夕全集群高可用深度体检与隐患排查实战

封面信息图

在全网数十万 QPS 重保大促正式鸣枪开跑前的最后 7 天，任何深埋在 Kubernetes 集群底层、平时被低负载掩盖的微小配置缺陷，都会在大促洪峰爆发的瞬间演变成毁灭性的级联灾难。

在过去几年的大促事故复盘中，我们见证了太多令人痛心的惨痛教训：

定时炸弹一：控制面证书在大促当天凌晨悄悄过期（TLS Expired）。Kubernetes 集群搭建时使用了默认的 1 年期证书，结果恰好在大促零点到期，kube-apiserver 拒绝一切组件连接，全集群调度与弹性扩容当场暴毙！
定时炸弹二：etcd 磁盘 I/O 延迟过大触发频繁 Leader 选举（Leader Flapping）。由于 etcd 与高 I/O 写入的业务 Pod 混跑在同一块低速云盘上，大促写入激增导致 etcd 刷盘超时，控制面发生脑裂震荡；
定时炸弹三：核心无状态微服务缺少 PodDisruptionBudget（PDB）硬保护。在大促弹性缩容或节点维护时，Deployment 的全部 Pod 被调度器一次性全部杀死，造成全网业务中断！

为了将一切潜在的定时炸弹在战前彻底排净，SRE 架构团队必须展开一场地毯式的**“全集群高可用深度体检与隐患排查战役”**。

本文系统梳理大促前夕必须执行的控制面证书、etcd 性能、PDB 拓扑约束与准入控制器四大黄金体检清单与排查实操。

大促集群深度体检四大核心领域全景矩阵

┌─────────────────────────────────────────────────────────────┐
│ 1. 控制面核心安全与证书体检 (Control Plane TLS Certificates) │
│ – 扫描: apiserver / etcd / kubelet 证书剩余有效天数 │
│ – 红线: 剩余有效期必须 > 90 天，低于 90 天立即强制轮换! │
├─────────────────────────────────────────────────────────────┤
│ 2. etcd 高性能底座体检 (etcd Storage & WAL Benchmark) │
│ – 扫描: fsync 延迟、历史数据碎片大小与 Compact 策略 │
│ – 红线: 99% 的 fsync 写入耗时必须 < 10ms，严禁磁盘混跑! │
├─────────────────────────────────────────────────────────────┤
│ 3. 微服务高可用防护策略体检 (PDB & Anti-Affinity & HPA) │
│ – 扫描: 是否配置 PodDisruptionBudget 保护最小存活副本 │
│ – 扫描: 是否配置跨可用区硬反亲和性 (topologySpreadConstraints)│
├─────────────────────────────────────────────────────────────┤
│ 4. 节点内核与 cgroup 隐患排查 (Node Problem Detector) │
│ – 扫描: conntrack 表容量、pid_max 上限、文件描述符硬配额 │
└─────────────────────────────────────────────────────────────┘

生产现场实战体检指令与修复清单

体检项一：Kubernetes 控制面全量证书有效期扫描

在 Master 节点执行 kubeadm 证书巡检命令：

# 检查集群控制面所有证书过期时间
kubeadm certs check-expiration

# 典型健康输出:
# CERTIFICATE EXPIRES RESIDUAL TIME CERTIFICATE AUTHORITY EXTERNALLY MANAGED
# admin.conf Sep 15, 2027 08:30 UTC 364d ca no
# apiserver Sep 15, 2027 08:30 UTC 364d ca no
# apiserver-etcd-client Sep 15, 2027 08:30 UTC 364d etcd-ca no
# apiserver-kubelet-client Sep 15, 2027 08:30 UTC 364d ca no

应急修复：若发现任何证书剩余天数 $< 60$ 天，立即执行 kubeadm certs renew all 进行一键热轮换，并重启 kube-apiserver 等静态 Pod。

体检项二：etcd 存储碎片与 fsync 延迟深度体检

# 1. 检查 etcd 数据库物理大小与碎片率 (Fragmentation)
etcdctl –cacert=/etc/kubernetes/pki/etcd/ca.crt \\
–cert=/etc/kubernetes/pki/etcd/server.crt \\
–key=/etc/kubernetes/pki/etcd/server.key \\
–endpoints=127.0.0.1:2379 \\
endpoint status –write-out=table

# 2. 针对碎片严重的 etcd 节点执行在线整理 (Defragmentation)
etcdctl –cacert=… –cert=… –key=… endpoint defrag –cluster

# 3. 监控 etcd WAL 磁盘写入延迟指标 (PromQL 验证 P99 < 10ms)
# histogram_quantile(0.99, rate(etcd_disk_wal_fsync_duration_seconds_bucket[5m]))

体检项三：检查 P0 核心微服务是否全部配置 PodDisruptionBudget（PDB）

在大促期间，任何由于节点驱逐导致的 Pod 缩容，都必须受到 PDB 的刚性保护，确保全站至少保留 80% 的活跃副本提供服务：

apiVersion: policy/v1
kind: PodDisruptionBudget
metadata:
name: order-settle-pdb
namespace: prod
spec:
# 核心保护红线: 任何维护操作最多只允许 1 个 Pod 处于不可用状态!
maxUnavailable: 1
selector:
matchLabels:
app: order-settle

执行全集群自动化体检脚本，扫描哪些 Deployment 漏配了 PDB：

kubectl get deployments -n prod -o jsonpath='{range .items[*]}{.metadata.name}{"\\n"}{end}' | while read app; do
pdb=$(kubectl get pdb -n prod -l app=$app –no-headers 2>/dev/null)
if [ -z "$pdb" ]; then
echo "🚨 [大促隐患警告] 微服务 [$app] 缺少 PDB 保护，极易在弹性驱逐中发生中断！"
fi
done

体检项四：强制跨可用区拓扑均匀散列（Topology Spread Constraints）

严禁将同一个微服务的 20 个副本全部调度在同一个机房或同一个节点上。在 Pod Spec 中强制注入拓扑分布约束：

spec:
topologySpreadConstraints:
# 跨可用区均匀分布
– maxSkew: 1
topologyKey: topology.kubernetes.io/zone
whenUnsatisfiable: DoNotSchedule
labelSelector:
matchLabels:
app: order-settle

生产体检收益大盘

在本次大促战前全量体检中：

全网排查了 4 套核心 Kubernetes 集群、总计 320 个微服务 Deployment；
成功提前发现并消除了 2 起 etcd 空间超限隐患、为 18 个漏配的微服务补齐了 PDB 保护、并修复了 1 处接近过期的 Client 证书；
实现了全集群在控制面、数据面、存储底座与容灾拓扑维度的 100% 满分体检通关，为全站大促战役构筑了最安心的基石！

大促前夕全集群高可用深度体检与隐患排查实战