[发明专利]一种故障监控与处理方法、装置和电子设备

说明书

本公开涉及一种故障监控与处理方法、装置和电子设备，涉及运维系统故障处理技术领域，包括：基于业务场景配置业务系统告警拓扑树，所述告警拓扑树包括具有关联信息的拓扑节点；对业务系统的数据进行监控，获得告警信息；根据所述告警信息，定位告警节点的根因节点，并基于所述根因节点进行链路聚合，得到故障链路，其中，所述告警节点包括所述拓扑节点的一个或多个；获取与所述告警节点相关联的预案信息，执行所述预案信息中包括的预案任务，对所述故障链路进行修复；获取所述预案任务执行结果，根据所述预案任务执行结果进行故障分类，得到故障分类结果，对所述拓扑节点的关联信息进行更新。

技术领域

本公开实施例涉及运维系统故障处理技术领域，更具体地，涉及一种故障监控与处理方法、装置和电子设备。

背景技术

目前互联网软件后台系统采用微服务架构或单体架构。对于微服务架构，各个微服务之间有着复杂的依赖关系，对于单体服务，各个模块之间也有着复杂依赖关系。当下游服务或模块发生故障时，很可能会影响依赖其上游服务或模块，这种影响具有连锁反应，最终导致整个服务不可用。

例如，在微服务架构下，用户在一个场景下使用软件系统提供的服务，需要许多微服务共同完成，假设该场场景下的链路包括A-B-C和A-B-D-E，如果此时微服务D由于硬盘故障、网络波动、服务器硬件故障等物理因素，或上线bug、配置错误等人为因素发生故障，必定会导致A-B-D链路受到影响。此时由于D的故障，导致了A、B微服务依赖于D的功能的不可用。此时，会接收到微服务A、微服务B、微服务D的告警。

对与上述情况，目前的方法是采用人工处理，尤其链路复杂时，存在排查周期过长，处理时间长，人员协调难度大，资源消耗大，周知难度大，过于依赖于处理人员对故障发生的经验等处理效率低的缺点。

发明内容

本公开实施例的一个目的是提供一种故障监控与处理方法、装置和电子设备的新的技术方案。

根据本公开的第一方面，提供了一种故障监控与处理方法，包括：基于业务场景配置业务系统告警拓扑树，所述告警拓扑树包括具有关联信息的拓扑节点；对业务系统的数据进行监控，获得告警信息；根据所述告警信息，定位告警节点的根因节点，并基于所述根因节点进行链路聚合，得到故障链路，其中，所述告警节点包括所述拓扑节点的一个或多个；获取与所述告警节点相关联的预案信息，执行所述预案信息中包括的预案任务，对所述故障链路进行修复；获取所述预案任务执行结果，根据所述预案任务执行结果进行故障分类，得到故障分类结果，对所述拓扑节点的关联信息进行更新。

可选地，所述基于业务场景配置业务系统告警拓扑树，包括：基于业务场景的每一微服务节点，构建与所述微服务节点一一对应的拓扑节点；为每一拓扑节点设置关联信息，得到所述告警拓扑树；其中，所述关联信息包括告警指标信息、故障类型、与所述故障类型对应的预案信息，所述告警指标信息包括技术指标告警信息和业务指标告警信息。

可选地，根据所述告警信息，定位告警节点的根因节点，包括：根据所述告警信息，得到告警场景；遍历所述告警场景的拓扑节点，将自身为告警节点、且其子节点为非告警节点的拓扑节点作为根因节点。

可选地，所述基于所述根因节点进行链路聚合，得到故障链路，包括：获取所述根因节点的影响节点和告警场景拓扑树的顶级节点；根据所述根因节点、影响节点和顶级节点，构造影响链路；对所述影响链路进行链路聚合，得到故障链路。

可选地，获取与所述告警节点相关联的预案信息包括：检测并记录所述告警节点的当前故障类型；在所述告警节点关联信息中查找与所述当前故障类型对应的预案信息，在告警节点关联信息中存在与当前故障类型匹配的预案信息的情况下，获取与当前故障类型对应的预案信息；在所述告警节点关联信息中不存在与所述当前故障类型匹配的预案信息的情况下，发出无预案提醒信息。