[发明专利]一种分布式消息处理方法和系统

说明书

本申请提供一种分布式消息处理方法和系统，方法包括：获取消息消费者、消息生产者和消息代理的本地日志文件，本地日志文件存储有各个业务消息的发送和接收情况以及相关联的业务消息的业务内容；依据获取到的关键字对获取到的本地日志文件中的内容进行查询，输出与关键字相对应的日志条目，关键字为所需查找的业务消息的消息属性。该方案通过将业务消息的收发情况与业务消息的业务内容相关联，依据用户输入的关键字对各个本地日志文件进行检索，提取与关键字相对应的日志条目，即可依据提取到的日志条目得到业务消息的完整消费轨迹，实现了异常消息的故障定位。

技术领域

本发明涉及计算机技术领域，具体涉及一种支持消费轨迹的分布式消息处理方法和系统。

背景技术

现代互联网公司的系统架构多是由各个子系统组成的分布式系统，而分布式消息系统作为分布式系统中重要的组件被大量使用来解决应用耦合、异步消息、流量削锋等问题。

分布式消息系统由消息生产者、消息代理和消息消费者组成，消息生产者将消息发送至消息代理，消息代理将接收到的消息缓存至内存或其他存储设备，消息消费者从消息代理中取出消息并作相应处理。消息消费者可以根据自身的处理能力来合理地进行消息消费和处理，避免消息消费者的处理子系统被前端瞬时大量的流量给冲垮。

由于分布式消息系统构建在不可靠的软硬件系统和异步网络通信之上，因此十分容易出现消息丢失的情况，如网络故障、消费失败等。对于使用者而言，消息丢失会导致业务异常，但使用者又很难查出导致异常的是哪些消息。针对上述问题，已有的解决方案多是通过在消息系统客户端记录每次消息发送接收的日志信息，当出现异常时通过查看客户端的日志信息来分析问题。用户通常只能看到出现异常的业务内容，无法判断是在业务处理的哪个环节出现异常的，无法将业务内容与日志信息相关联，因此存在故障定位难的问题。

发明内容

有鉴于此，本发明实施例提供一种支持消费轨迹的分布式消息处理方法和系统，以实现异常业务消息的故障定位。

为实现上述目的，本发明实施例提供如下技术方案：

一种分布式消息处理方法，包括：

获取消息消费者、消息生产者和消息代理的本地日志文件，所述本地日志文件存储有各个业务消息的发送和接收情况以及与发送和接收的业务消息相关联的业务消息的业务内容；

依据获取到的关键字对获取到的消息消费者、消息生产者和消息代理的本地日志文件中的内容进行查询，输出获取消息消费者、消息生产者和消息代理的本地日志文件中存储的与所述关键字相对应的日志条目，所述关键字为所需查找的业务消息的消息属性。

优选的，上述分布式消息处理方法中，所述消息生产者的本地日志文件中存储有生产者信息，所述生产者信息至少包括：各个业务消息对应的生产者客户端IP、发送时间、发送状态标识、发送耗时、业务消息ID以及业务消息的业务内容；

所述消费者的本地日志文件中存储有消费者信息，所述消费者信息至少包括：各个业务消息对应的消费者客户端IP、投递次数、消费状态标识和消费耗时；

所述代理者的本地日志文件中存储有代理信息，所述代理信息至少包括：各个业务消息的存储位置和存储时间。

优选的，上述分布式消息处理方法中，获取消息消费者、消息生产者和消息代理的本地日志文件，具体为：

异步获取消息消费者、消息生产者和消息代理的本地日志文件。

优选的，上述分布式消息处理方法中，依据获取到的关键字对获取到的本地日志文件中的内容进行查询之后，还包括：

依据与所述关键字相对应的日志条目生成并输出与所述关键字相对应的报文消息的消费轨迹。

优选的，上述分布式消息处理方法中，生成并输出与所述关键字相对应的报文消息的消费轨迹之后，还包括：