[发明专利]分布式消息服务节点CPU性能故障自恢复方法及装置

说明书

本公开提供了一种分布式消息服务节点CPU性能故障自恢复方法，涉及分布式技术领域，可以应用于金融技术领域。该方法包括：响应于服务节点CPU性能故障检测器的故障报警操作，获取故障报警信息，其中，所述故障报警信息包括故障节点IP；根据所述故障节点IP收集故障节点的系统性能数据报表；对所述系统性能数据报表进行分析，以确定所述故障节点的故障类型；根据所述故障类型执行对应的恢复策略以恢复所述故障节点。本公开还提供了一种分布式消息服务节点CPU性能故障自恢复装置、设备、存储介质和程序产品。

技术领域

本公开涉及分布式技术领域，具体涉及自动化运维技术领域，更具体地涉及一种分布式消息服务节点CPU性能故障自恢复方法、装置、设备、存储介质和程序产品。

背景技术

Kafka分布式消息服务在金融科技领域及大数据领域应用极为广泛，很多业务应用依托于Kafka进行削峰填谷、日志监控、异步解耦等场景。在实际运行中对于Kafka分布式消息服务节点的性能要求非常严苛，但由于海量数据的流动性现状及业务场景的复杂多样性，经常会出现节点CPU性能异常的情况，而一旦CPU性能出现异常，则存在会影响Kafka集群对外服务能力的风险，严重时会导致集群服务下宕，无法进行消息传输。

目前在出现CPU性能异常故障时，首先通过人工收集所需报表进行分析，再推测可能的故障原因，再去通过推测的故障原因尝试修复故障的方式来应对该问题。

对于当前人工处理Kafka分布式消息服务节点的CPU性能异常故障问题的方案，在实际生产运行中，存在几个缺点：一是效率低，人工处理消费者故障时需要人工收集多个报表且逐一分析，需要的时效较长。二是准确性低，人工处理消费者故障完全依赖于人员技能成熟度，如由技能初阶的生产故障支持人员进行处理，较难定位出故障原因。三是人力投入大，在金融科技领域，海量消息必然会出现各种故障问题，如都依赖人力，则需要投入大量技能成熟的生产故障支持人员。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

鉴于上述问题，本公开提供了一种提高故障修复效率的分布式消息服务节点CPU性能故障自恢复方法、装置、设备、存储介质和程序产品。

根据本公开的第一个方面，提供了一种分布式消息服务节点CPU性能故障自恢复方法，所述方法包括：

响应于服务节点CPU性能故障检测器的故障报警操作，获取故障报警信息，其中，所述故障报警信息包括故障节点IP；

根据所述故障节点IP收集故障节点的系统性能数据报表；

对所述系统性能数据报表进行分析，以确定所述故障节点的故障类型；以及

根据所述故障类型执行对应的恢复策略以恢复所述故障节点。

根据本公开的实施例，所述系统性能数据报表包括操作系统性能指标文件、内存使用情况文件和活跃进程日志文件，所述对所述系统性能数据报表进行分析，以确定所述故障节点的故障类型包括：

若确定所述操作系统性能指标文件中的连接数大于第一预设阈值，则确定所述故障类型为第一系统性能故障；

若确定所述操作系统性能指标文件中的网络流量大于第二预设阈值，则确定所述故障类型为第二系统性能故障；

若确定所述操作系统性能指标文件中的操作系统句柄数大于第三预设阈值，则确定所述故障类型为第三系统性能故障；

若确定内存使用情况文件的内存使用率大于第四预设阈值，则确定所述故障类型为第四系统性能故障；以及

若确定所述活跃进程日志文件中当前CPU使用率前三的进程存在报错信息，则确定所述故障类型为第五系统性能故障。