[发明专利]消息主题的处理方法、装置、计算机设备和可读存储介质

说明书

本申请涉及数据处理技术领域，提供了一种消息主题的处理方法、装置、计算机设备和可读存储介质。该方法包括：设置对应消息队列的偏移量组和至少两个消费组；将消息队列中的消息主题分配至消费组，其中，若消费组被分配消息主题时，消费组为工作消费组，若消费组未被分配消息主题时，消费组为备用消费组；当工作消费组被分配至少两个消息主题，且其中的消息主题中断时，将中断的消息主题分配至备用消费组，以使备用消费组根据偏移量组中对应的偏移量，重启中断的消息主题。通过本申请，能够在无限拉起挂掉的消息主题，以保证程序稳定消费的同时，避免影响同一消息组的其他消息主题的消费。

技术领域

本申请涉及数据处理技术领域，尤其涉及一种消息主题的处理方法、装置、计算机设备和可读存储介质。

背景技术

Kafka是一种分布式发布订阅消息系统，基于其高吞吐量的数据处理能力，目前使用非常广泛。但发明人研究发现，目前kafka提供消费组实现多个线程同时消费一个或多个消息主题时，当其中一个消息主题有问题挂掉时，会触发一次均衡导致线程重新分配，而在一些不稳定的场景下，需要保证程序稳定消费，需要将挂掉的线程重新拉起，这样又会发生一次线程重新分配，均会影响其他主题的正常消费。如果无限拉起挂掉的消息主题，则会导致当前消费组一直处于均衡中，同组的其他消息主题消费完全不可用。例如，当消费组同时订阅topic1、topic2、topic3共三个消息主题，若topic3挂掉，则将会对topic1和topic2重新分配线程，当无限重启topic3时，如果持续重启失败，会导致topic1和topic2同时处于不可用的状态。

因此，如何在无限拉起挂掉的消息主题，以保证程序稳定消费的同时，避免影响同一消息组的其他消息主题的消费，成为本领域亟需解决的技术问题。

发明内容

本申请的目的是提供一种消息主题的处理方法、装置、计算机设备和可读存储介质，用于解决现有技术中的上述技术问题。

一方面，为实现上述目的，本申请提供了一种消息主题的处理方法。

该消息主题的处理方法包括：设置对应消息队列的偏移量组和至少两个消费组，其中，所述偏移量组用于记录所述消息队列中各消息主题的偏移量，所述消费组包括若干线程，用于消费所述消息主题并更新所述偏移量；将所述消息队列中的消息主题分配至所述消费组，其中，若所述消费组被分配所述消息主题时，所述消费组为工作消费组，若所述消费组未被分配所述消息主题时，所述消费组为备用消费组；当所述工作消费组被分配至少两个所述消息主题，且其中的所述消息主题中断时，将中断的所述消息主题分配至所述备用消费组，以使所述备用消费组根据所述偏移量组中对应的偏移量，重启所述中断的消息主题。

进一步地，所述消息主题的处理方法还包括：设置对应各个所述消费组的主题分配记录，其中，所述主题分配记录包括各个所述消费组被分配的所述消息主题；将所述中断的消息主题分配至所述备用消费组的步骤包括：根据所述主题分配记录中查找所述备用消费组，并将所述中断的消息主题分配至查找到的所述备用消费组。

进一步地，所述消息主题的处理方法还包括：设置对应所述消费组的线程信息；将所述中断的消息主题分配至查找到的所述备用消费组的步骤包括：当根据所述主题分配记录查找到至少两个所述备用消费组时，获取各个所述备用消费组对应的线程信息；根据所述线程信息在各个所述备用消费组中，确定出与所述中断的消息主题适配的备用消费组。

进一步地，所述线程信息包括所述消费组的线程数量和单线程消费速率阈值，根据所述线程信息在各个所述备用消费组中，确定出与所述中断的消息主题适配的备用消费组的步骤包括：获取所述偏移量组中所述中断的消息主题的历史偏移量；根据所述历史偏移量计算所述中断的消息主题的数据流量；以及根据所述线程数量、所述单线程消费速率阈值和所述中断的消息主题的数据流量确定出与所述中断的消息主题适配的备用消费组。