[发明专利]数据消费的负载均衡方法及装置

说明书

本申请提供一种数据消费的负载均衡方法，包括：计算与集群订阅的各待分配消息主题对应的散列值，并将该散列值在待分配节点设备列表中的映射位置确定为对应于各待分配消息主题的起始分配位置；基于集群订阅的消息队列的总数，对应于各待分配节点设备的平均数，从与所述分配起始位置对应的节点设备开始，为所述待分配节点设备列表中的各节点设备平均分配消息队列，并对分配至各节点设备的消息队列的数据量进行组合搭配；当集群订阅的各消息队列均分配完成，查找分配至本设备的目标消息队列，并基于拉模式从所述目标消息队列中获取消息数据进行消息处理。本申请可以确保分配至各节点设备的消息队列，在数量和对应的数据量上均能够达到均衡。

技术领域

本申请涉及计算机应用领域，尤其涉及一种数据消费的负载均衡方法及装置。

背景技术

拉模式(Pull)数据消费，是指消息数据的生产者将产生的消息数据，通过消息中间件分散保存到消息系统中不同的消息队列中；当消息数据的消费者需要消费消息队列中的消息数据时，可以主动向消息队列发起数据获取请求，将消息队列中存储的消息数据“拉”到本地进行消息处理。

在相关技术中，消息系统通常可以基于消息数据的类型，将产生的消息数据划分为不同的消息主题(Topic)，每一个消息主题下又可以划分出若干个消息队列(quene)，而消息数据的消费者可以订阅消息系统中的一个或者多个消息主题，然后通过拉模式从订阅的消息主题下的消息队列中主动“拉”数据进行消息处理。

在实际应用中，如果消息数据的消费者为分布式集群，由于分布式集群中可以包括若干台作为消费者的节点设备，因此当分布式集群订阅了消息系统中的多个消息主题，并且这些消息主题下均包含若干个消息队列的话，通常需要按照统一的分配策略，为各节点设备分别分配消息队列。

在拉模式下，通常是由各节点设备基于统一的分配策略分别为各节点设备分配消息队列；在现有的消息分配机制中，为了避免各节点设备自主分配的消息队列出现重复，通常是由各节点设备采用统一的节点设备列表，以及订阅的消息主题列表，按照列表中统一的顺序为各节点设备分别分配消息队列；然而，现有的这种消息分配机制，虽然能够避免分配至各节点设备的消息队列出现重复，但由于这种分配方式是一种完全按照列表中的顺序进行的机械式的分配，因此存在消息队列分配不够灵活的问题。

发明内容

本申请提出一种数据消费的负载均衡方法，应用于与消息系统对接的分布式集群中的任一节点设备，所述分布式集群订阅了所述消息系统中的至少一个消息主题的消息数据，所述消息主题包括若干消息队列；所述节点设备基于拉模式从所述消息系统获取与所述消息主题对应的消息数据进行消息处理，所述方法包括：

计算与集群订阅的各待分配消息主题对应的散列值，并将该散列值在待分配节点设备列表中的映射位置确定为对应于各待分配消息主题的起始分配位置；

基于集群订阅的消息队列的总数，对应于所述待分配节点设备列表中各待分配节点设备的平均数，从与所述分配起始位置对应的节点设备开始，为所述待分配节点设备列表中的各节点设备平均分配消息队列，并基于预设的负载均衡策略对分配至各节点设备的消息队列的数据量进行组合搭配；

当集群订阅的各消息队列均分配完成，查找分配至本设备的目标消息队列，并基于拉模式从所述目标消息队列中获取消息数据进行消息处理。

本申请还提出一种数据消费的负载均衡装置，应用于与消息系统对接的分布式集群中的任一节点设备，所述分布式集群订阅了所述消息系统中的至少一个消息主题的消息数据，所述消息主题包括若干消息队列；所述节点设备基于拉模式从所述消息系统获取与所述消息主题对应的消息数据进行消息处理，所述装置包括：

计算模块，计算与集群订阅的各待分配消息主题对应的散列值，并将该散列值在待分配节点设备列表中的映射位置确定为对应于各待分配消息主题的起始分配位置；