[发明专利]消息消费故障的自恢复方法及装置

说明书

本公开提供了一种消息消费故障的自恢复方法，涉及分布式技术领域，可以应用于金融技术领域。该方法包括：响应于消息消费异常的报警信息，根据所述报警信息获取消费者运行报表，所述消费者运行报表包括消费者客户端运行日志、消费速率报表和消费者连接报表；分别对所述消费者客户端运行日志、所述消费速率报表和所述消费者连接报表进行解析，以确定消费者运行故障类型；根据所述消费者运行故障类型执行对应的恢复策略。本公开还提供了一种消息消费故障的自恢复装置、设备、存储介质和程序产品。

技术领域

本公开涉及分布式技术领域，具体涉及自动化运维技术领域，更具体地涉及一种消息消费故障的自恢复方法、装置、设备、存储介质和程序产品。

背景技术

Kafka分布式消息服务在金融科技领域及大数据领域应用极为广泛，很多业务应用依托于Kafka进行削峰填谷、日志监控、异步解耦等场景。在实际运行中常出现消息消费异常的情况。

目前在消费者消费消息异常故障时，通常通过人工收集多种报表分析定位故障原因，在实际生产运行中，这种处理方式存在几个缺点：一是效率低，人工处理消费者故障时需要人工收集多个报表且逐一分析，需要的时效较长。二是准确性低，人工处理消费者故障完全依赖于人员技能成熟度，如由技能初阶的生产故障支持人员进行处理，较难定位出故障原因。三是人力投入大，在金融科技领域，海量消息必然会出现各种故障问题，如都依赖人力，则需要投入大量技能成熟的生产故障支持人员。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

鉴于上述问题，本公开提供了一种提高故障修复效率的消息消费故障的自恢复方法、装置、设备、存储介质和程序产品。

根据本公开的第一个方面，提供了一种消息消费故障的自恢复方法，所述方法包括：

响应于消息消费异常的报警信息，根据所述报警信息获取消费者运行报表，所述消费者运行报表包括消费者客户端运行日志、消费速率报表和消费者连接报表；

分别对所述消费者客户端运行日志、所述消费速率报表和所述消费者连接报表进行解析，以确定消费者运行故障类型；

根据所述消费者运行故障类型执行对应的恢复策略。

根据本公开的实施例，所述分别对所述消费者客户端运行日志、所述消费速率报表和所述消费者连接报表进行解析，以确定消费者运行故障类型包括：

若确定所述消费者客户端运行日志存在报错信息，则确定所述消费者运行故障类型为第一消费者运行故障；

若确定所述消费速率报表中消息消费速率与消息生产速率的差值大于第一预设阈值，则确定所述消费者运行故障类型为第二消费者运行故障；以及

若确定消费者连接数大于第二预设阈值，则确定所述消费者运行故障类型为第三消费者运行故障。

根据本公开的实施例，所述根据所述消费者运行故障类型执行对应的恢复策略包括：

若确定所述消费者运行故障类型为第一消费者运行故障，执行客户端轮询重启；

若确定所述消费者运行故障类型为第二消费者运行故障，启动限流开关，将消息生产速率降低至在第一指定阈值；

若确定所述消费者运行故障类型为第三消费者运行故障，根据消费者预设的重要优先级排名关闭当前消费者连接。

根据本公开的实施例，所述根据所述报警信息获取消费者运行报表包括：

根据所述报警信息确定集群名称、消费者名称、消费主题名称和消费者客户端IP；以及