一套跨系统数据一致性巡检与修复架构实战（下篇）

前言：在上篇文章中，我们分享了跨系统数据一致性巡检与异常发现的设计方案，解决了“如何精准发现问题”的痛点。本文将聚焦于问题的另一半——“如何安全地修复问题”。我们将结合生产代码，深入解析基于策略模式的数据一致性修复引擎是如何设计的，以及如何通过多重安全机制避免“误修复”灾难。

一、 修复模块的设计哲学：安全优于自动

在分布式系统中，数据修复就像给高速行驶的汽车换轮胎。上篇文章提到的“采集失败 ≠ 数据缺失”原则在修复阶段同样适用。我们的修复模块遵循以下核心设计哲学：

二、 核心架构：策略模式 + 注册中心

为了应对多数据源和复杂的修复逻辑，我们定义了统一的修复策略接口，并通过 Spring 容器实现自动注册与分发。

#mermaid-svg-bwTxJJqnMxymsfoP{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-bwTxJJqnMxymsfoP .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-bwTxJJqnMxymsfoP .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-bwTxJJqnMxymsfoP .error-icon{fill:#552222;}#mermaid-svg-bwTxJJqnMxymsfoP .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-bwTxJJqnMxymsfoP .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-bwTxJJqnMxymsfoP .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-bwTxJJqnMxymsfoP .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-bwTxJJqnMxymsfoP .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-bwTxJJqnMxymsfoP .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-bwTxJJqnMxymsfoP .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-bwTxJJqnMxymsfoP .marker{fill:#333333;stroke:#333333;}#mermaid-svg-bwTxJJqnMxymsfoP .marker.cross{stroke:#333333;}#mermaid-svg-bwTxJJqnMxymsfoP svg{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-bwTxJJqnMxymsfoP p{margin:0;}#mermaid-svg-bwTxJJqnMxymsfoP g.classGroup text{fill:#9370DB;stroke:none;font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:10px;}#mermaid-svg-bwTxJJqnMxymsfoP g.classGroup text .title{font-weight:bolder;}#mermaid-svg-bwTxJJqnMxymsfoP .cluster-label text{fill:#333;}#mermaid-svg-bwTxJJqnMxymsfoP .cluster-label span{color:#333;}#mermaid-svg-bwTxJJqnMxymsfoP .cluster-label span p{background-color:transparent;}#mermaid-svg-bwTxJJqnMxymsfoP .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-bwTxJJqnMxymsfoP .cluster text{fill:#333;}#mermaid-svg-bwTxJJqnMxymsfoP .cluster span{color:#333;}#mermaid-svg-bwTxJJqnMxymsfoP .nodeLabel,#mermaid-svg-bwTxJJqnMxymsfoP .edgeLabel{color:#131300;}#mermaid-svg-bwTxJJqnMxymsfoP .edgeLabel .label rect{fill:#ECECFF;}#mermaid-svg-bwTxJJqnMxymsfoP .label text{fill:#131300;}#mermaid-svg-bwTxJJqnMxymsfoP .labelBkg{background:#ECECFF;}#mermaid-svg-bwTxJJqnMxymsfoP .edgeLabel .label span{background:#ECECFF;}#mermaid-svg-bwTxJJqnMxymsfoP .classTitle{font-weight:bolder;}#mermaid-svg-bwTxJJqnMxymsfoP .node rect,#mermaid-svg-bwTxJJqnMxymsfoP .node circle,#mermaid-svg-bwTxJJqnMxymsfoP .node ellipse,#mermaid-svg-bwTxJJqnMxymsfoP .node polygon,#mermaid-svg-bwTxJJqnMxymsfoP .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-bwTxJJqnMxymsfoP .divider{stroke:#9370DB;stroke-width:1;}#mermaid-svg-bwTxJJqnMxymsfoP g.clickable{cursor:pointer;}#mermaid-svg-bwTxJJqnMxymsfoP g.classGroup rect{fill:#ECECFF;stroke:#9370DB;}#mermaid-svg-bwTxJJqnMxymsfoP g.classGroup line{stroke:#9370DB;stroke-width:1;}#mermaid-svg-bwTxJJqnMxymsfoP .classLabel .box{stroke:none;stroke-width:0;fill:#ECECFF;opacity:0.5;}#mermaid-svg-bwTxJJqnMxymsfoP .classLabel .label{fill:#9370DB;font-size:10px;}#mermaid-svg-bwTxJJqnMxymsfoP .relation{stroke:#333333;stroke-width:1;fill:none;}#mermaid-svg-bwTxJJqnMxymsfoP .dashed-line{stroke-dasharray:3;}#mermaid-svg-bwTxJJqnMxymsfoP .dotted-line{stroke-dasharray:1 2;}#mermaid-svg-bwTxJJqnMxymsfoP #compositionStart,#mermaid-svg-bwTxJJqnMxymsfoP .composition{fill:#333333!important;stroke:#333333!important;stroke-width:1;}#mermaid-svg-bwTxJJqnMxymsfoP #compositionEnd,#mermaid-svg-bwTxJJqnMxymsfoP .composition{fill:#333333!important;stroke:#333333!important;stroke-width:1;}#mermaid-svg-bwTxJJqnMxymsfoP #dependencyStart,#mermaid-svg-bwTxJJqnMxymsfoP .dependency{fill:#333333!important;stroke:#333333!important;stroke-width:1;}#mermaid-svg-bwTxJJqnMxymsfoP #dependencyStart,#mermaid-svg-bwTxJJqnMxymsfoP .dependency{fill:#333333!important;stroke:#333333!important;stroke-width:1;}#mermaid-svg-bwTxJJqnMxymsfoP #extensionStart,#mermaid-svg-bwTxJJqnMxymsfoP .extension{fill:transparent!important;stroke:#333333!important;stroke-width:1;}#mermaid-svg-bwTxJJqnMxymsfoP #extensionEnd,#mermaid-svg-bwTxJJqnMxymsfoP .extension{fill:transparent!important;stroke:#333333!important;stroke-width:1;}#mermaid-svg-bwTxJJqnMxymsfoP #aggregationStart,#mermaid-svg-bwTxJJqnMxymsfoP .aggregation{fill:transparent!important;stroke:#333333!important;stroke-width:1;}#mermaid-svg-bwTxJJqnMxymsfoP #aggregationEnd,#mermaid-svg-bwTxJJqnMxymsfoP .aggregation{fill:transparent!important;stroke:#333333!important;stroke-width:1;}#mermaid-svg-bwTxJJqnMxymsfoP #lollipopStart,#mermaid-svg-bwTxJJqnMxymsfoP .lollipop{fill:#ECECFF!important;stroke:#333333!important;stroke-width:1;}#mermaid-svg-bwTxJJqnMxymsfoP #lollipopEnd,#mermaid-svg-bwTxJJqnMxymsfoP .lollipop{fill:#ECECFF!important;stroke:#333333!important;stroke-width:1;}#mermaid-svg-bwTxJJqnMxymsfoP .edgeTerminals{font-size:11px;line-height:initial;}#mermaid-svg-bwTxJJqnMxymsfoP .classTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-bwTxJJqnMxymsfoP .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-bwTxJJqnMxymsfoP .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-bwTxJJqnMxymsfoP :root{–mermaid-font-family:\”trebuchet ms\”,verdana,arial,sans-serif;}

implements

implements

implements

implements

manages

uses

uses

uses

uses

uses

uses

«interface»

ConsistencyRepairStrategy

+getSupportedRelType() : DataRelType

+repair(DataInconsistency, List<DataConsistencyDetail>) : void

ConsistencyRepairStrategyRegistry

-strategyMap: Map<DataRelType, ConsistencyRepairStrategy>

+ConsistencyRepairStrategyRegistry(List<ConsistencyRepairStrategy>)

+getStrategy(DataRelType) : Optional<ConsistencyRepairStrategy>

DataConsistencyRepairService

-strategyRegistry: ConsistencyRepairStrategyRegistry

-repairHelper: ConsistencyRepairHelper

+repair(DataInconsistency, List<DataConsistencyDetail>) : void

-checkPreDependencies(DataConsistencyDetail) : boolean

-checkClusterOngoingProcess(String) : boolean

-groupByRelType(List<DataConsistencyDetail>) : Map~Integer, List<DataConsistencyDetail~>

ConsistencyRepairHelper

+filterByExpectedState(List<DataConsistencyDetail>, ExpectedState) : List<DataConsistencyDetail>

+filterByCurrentAndExpected(List<DataConsistencyDetail>, CurrentState, ExpectedState) : List<DataConsistencyDetail>

+extractFieldArray(List<DataConsistencyDetail>, Function) : String[]

+buildBaseOpenMessage(String, String, String) : OpenMessage

+buildBaseCmdbMessage(String, String, String) : CmdbMessage

+buildClusterInfo(String, String) : ClusterInfo

ClusterProcessRepairStrategy

+getSupportedRelType() : DataRelType

+repair(DataInconsistency, List<DataConsistencyDetail>) : void

-refreshProcessRelation(List<DataConsistencyDetail>) : void

ServiceInstanceRepairStrategy

+getSupportedRelType() : DataRelType

+repair(DataInconsistency, List<DataConsistencyDetail>) : void

-cleanVersionFormat(String) : String

-triggerUnSubscribe(String) : void

HostGroupRepairStrategy

+getSupportedRelType() : DataRelType

+repair(DataInconsistency, List<DataConsistencyDetail>) : void

-classifyDetails(List<DataConsistencyDetail>) : Triple~List, List, List~

MetadataRepairStrategy

+getSupportedRelType() : DataRelType

+repair(DataInconsistency, List<DataConsistencyDetail>) : void

-executeDestroyWorkflow(List<DataConsistencyDetail>) : void

-executeScaleInWorkflow(List<DataConsistencyDetail>) : void

-executeScaleOutWorkflow(List<DataConsistencyDetail>) : void

-asyncFillMachineSpec(String) : void

-syncInstallState(String, List<String>) : void

2.1 统一策略接口

所有修复策略均实现 ConsistencyRepairStrategy 接口，该接口仅包含两个方法：声明支持的数据关系类型和执行修复逻辑。

public interface ConsistencyRepairStrategy {
// 声明该策略处理哪种数据关系（如 CLUSTER_PROCESS, METADATA 等）
DataRelType getSupportedRelType();

// 执行修复，入参已预过滤为当前 RelType 的明细列表
void repair(DataInconsistency exception, List<DataConsistencyDetail> relatedDetails);
}

2.2 策略注册中心

利用 Spring 的依赖注入特性，ConsistencyRepairStrategyRegistry 在启动时自动扫描所有策略实现类，并以 DataRelType 为 Key 构建内存映射表。这种方式使得新增修复策略时完全无需修改调度代码，只需新增一个 @Component 类即可。

@Component
public class ConsistencyRepairStrategyRegistry {
private final Map<DataRelType, ConsistencyRepairStrategy> strategyMap;

@Autowired
public ConsistencyRepairStrategyRegistry(List<ConsistencyRepairStrategy> strategies) {
this.strategyMap = strategies.stream()
.collect(Collectors.toMap(
ConsistencyRepairStrategy::getSupportedRelType,
Function.identity(),
(a, b) -> { throw new IllegalStateException("重复的修复策略: " + a.getSupportedRelType()); }
));
}

public Optional<ConsistencyRepairStrategy> getStrategy(DataRelType relType) {
return Optional.ofNullable(strategyMap.get(relType));
}
}

三、 四大修复策略详解

根据业务场景，我们实现了四种核心修复策略，每种策略都针对特定的数据关系进行了精细化处理。

3.1 集群-进程关系修复 (ClusterProcessRepairStrategy)

CMDB 中的进程关系是最容易因网络抖动产生“孤儿记录”的地方。该策略采用 “先删后增” 的强制刷新模式，确保 CMDB 关系与 ES 运行时绝对一致。

3.2 服务实例关系修复 (ServiceInstanceRepairStrategy)

服务实例关联着用户的订阅关系。修复时需区分“退订销毁”和“成员变更”两种场景。

3.3 主机组关系修复 (HostGroupRepairStrategy)

主机组的修复涉及组的创建、更新与删除。该策略通过三重状态过滤（toDelete, toAdd, existing）来智能判断操作类型：

3.4 元数据深度修复 (MetadataRepairStrategy)

这是最复杂的策略，直接操作服开平台数据库。它不仅是简单的 CRUD，而是模拟了标准的扩容/缩容/销毁业务流程。

四、 修复调度引擎：多重安全防线

DataConsistencyRepairService 是修复动作的统一入口，它在调用具体策略前设置了三道安全防线。

4.1 前置依赖校验

在修复集群 A 之前，系统会检查集群 A 的节点是否也出现在其他集群（如集群 B）的元数据异常中。如果存在交叉，说明该节点归属未定，必须优先修复前置集群。这避免了因节点漂移导致的“修了A坏了B”的连锁反应。

4.2 运行态进程锁

修复前调用 checkClusterOngoingProcess 检查集群是否有正在执行的工单（如扩容、升级）。若有进行中的流程，修复请求将被拒绝并标记为 REPAIR_FAILED，防止修复操作与正常运维流程冲突。

4.3 分组编排与兜底执行

调度引擎将明细记录按 DataRelType 分组，依次调用对应策略。特别地，由于巡检阶段可能过滤掉了 CLUSTER_PROCESS 类型，调度器会显式兜底，复用 METADATA 类型的明细数据来触发进程关系修复，确保 CMDB 关系始终被覆盖。

// 核心调度逻辑伪码
Map<Integer, List<DataConsistencyDetail>> groupedDetails = details.stream()
.collect(Collectors.groupingBy(DataConsistencyDetail::getDataRelType));

for (Map.Entry<Integer, List<DataConsistencyDetail>> entry : groupedDetails.entrySet()) {
DataRelType relType = DataRelType.fromCode(entry.getKey());
strategyRegistry.getStrategy(relType).ifPresent(s -> s.repair(exception, entry.getValue()));
}

五、 通用工具类：消除重复代码

为了避免各策略中出现大量重复的消息构建和列表过滤代码，我们抽取了 ConsistencyRepairHelper 工具类：

• 状态过滤器：filterByExpectedState / filterByCurrentAndExpected，一行代码完成复杂的状态筛选。
• 字段提取器：extractFieldArray，支持 Lambda 表达式快速提取 IP/ID 数组。
• 消息构建器：buildBaseOpenMessage / buildBaseCmdbMessage / buildClusterInfo，统一封装 CMDB 消息体的公共字段，各策略只需关注差异化属性。

六、 总结与思考

数据一致性修复系统的核心价值不在于“修得快”，而在于 “修得对”。回顾整套设计，我们有以下几点实践心得：

希望这套经过生产检验的修复架构，能为正在构建数据治理体系的团队提供可落地的参考。