[发明专利]云计算中一种针对分布式消息系统的负载均衡方法

说明书

本发明提供了一种针对分布式消息系统的负载均衡方法。针对分布式消息系统下不同副本的功能角色，提出了首领角色迁移和副本迁移两种负载迁移策略。针对两种负载迁移策略，详细设计了目标副本和目的节点选择策略依据的方法。实现在负载迁移的同时，保证分布式环境下的副本一致性、分区可用性、数据可靠性以及共享集群下各个用户之间对资源利用的互不影响。

技术领域

本发明属于大数据技术领域，具体涉及云计算中一种分布式消息系统的负载均衡方法。

背景技术

分布式消息系统的负载均衡使得负载可以均衡地分布在消息系统的各个节点中，可以提高消息系统的吞吐量和整体性能。在分布式消息系统中，一个消息队列会存在多个分区来提高并发度，分区是生产和消费消息的基本逻辑单元。依据分区各副本的角色不同，对不同资源的影响也是不尽相同的。首领副本需要负责客户端(生产者和消费者)的读写服务，而追随者副本只负责和首领副本同步消息，不对外提供服务，因此首领占据更高的CPU及网络出站流量。相同分区下不同角色副本的数据内容是相同的，无论是首领副本还是追随者副本都占有相同的磁盘空间。

基于上述分析，不同角色副本的资源使用情况总结如表1所示。

表1不同角色副本对不同资源的影响

发明内容

针对集群出现的负载倾斜问题，本发明基于分布式消息系统中，不同副本角色对资源的不同使用程度，提出了一种分布式消息系统的负载均衡方法。当节点出现负载过高的场景时，本发明可基于副本角色的不同，执行对应的策略，从而使集群达到负载均衡的状态。

具体技术方案如下：

当源节点出现CPU或网络出站流量过高时，首先采取首领角色迁移策略，若首领角色迁移策略实施完成后，源节点的CPU使用率或网络出站流量情况仍然过高，则采取副本迁移策略；

当源节点出现磁盘或网络入站流量过高的场景时，直接实施副本迁移策略。

首领角色迁移策略指将源节点上某分区目标副本的首领角色转移至目标节点上该分区的追随者副本。首领角色迁移策略需满足的必要条件为源副本是首领角色并且目标节点上必须具有与源副本相同分区的追随者副本。执行迁移策略后，目标节点资源使用可估计为原资源使用加上目标副本的部分CPU使用和全部网络出站流量。

副本迁移策略指将源节点上目标副本物理转移到目标节点上。该策略需满足的必要条件为在转移之前，目标节点不具有与该副本相同分区的其它副本。满足该条件的目的是在执行副本迁移策略后，该分区仍然能够满足集群内的多副本机制，以保证分布式下该分区的可用性。

当源节点出现CPU或网络出站流量过高时，应首先采取首领角色迁移策略。将源节点上目标副本的首领角色转移至目标节点相同分区的追随者副本上，并将源节点上目标副本的首领降级为追随者级别。若首领角色迁移策略实施完成后，源节点的CPU使用率或网络出站流量情况仍然过高，则应再采取副本迁移策略，将源节点上目标副本物理转移到目标节点上。之所以先执行首领角色迁移策略再执行副本迁移策略，是因为前者比后者的代价小得多。对副本角色的切换本质上是一种逻辑转移，仅需对元数据执行修改，不涉及数据自身的转移或改变；而副本迁移过程是对数据自身进行的物理位置上的转移，持续时间较长且相对较难被中断，中断后的状态也无法较为精准地确定。因此针对CPU和网络读流量的负载倾斜问题，应首先采取首领角色迁移策略，若不能满足目标，再执行副本迁移策略。

进一步的，源节点上目标副本的确定方法为：选择所有追随者副本都已经完全同步的首领角色副本，并且对资源占用大的副本作为目标副本。