[发明专利]一种分布式集群中数据管理的系统和方法

说明书

技术领域

本发明涉及计算机集群技术，特别是指一种分布式集群中数据管理的系统和方法。

背景技术

计算机集群简称集群，是一种并行或分布式处理系统。所述集群通过一组松散集成的计算机相互连接，高度紧密地协作完成所需要的计算工作。其中，单个计算机通常被称为节点。通过集群技术可以实现内存数据库系统，其中包括主节点和多个从节点。主节点负责向各个从节点同步数据，并对从节点进行管理。各个节点存储了相同的数据，并且每个节点都可以完成相同的工作，由于可以多个节点并行处理，因此利用集群技术可以提高数据的处理效率；另一方面，多个节点的数据，工作过程完全一样，因此可以容忍部分节点出现死机等故障，进而提高集群系统的可用性和稳定性。

在集群中节点进行并行处理、存储了相同的数据、进行协同工作，使得集群对外表现为一个整体。由此可见集群内数据的一致性显得非常重要，否则不同节点将表现出不同的行为，会影响集群进行数据处理服务。对于分布式的内存库集群，数据是其核心，保持集群内节点数据的一致性更为重要。

目前集群技术中解决数据一致性的问题，主要是利用主节点进行管理。当主节点产生数据变化时，将变化的数据推送到集群内其他的从节点中，但这种管理方法存在两个问题：1)主节点承担了过多的负荷，不利于负荷均衡；2)其他节点被动接受，参与度低，同时，主节点对每个节点都相同对待，不能参考从节点的实际情况，例如：性能，运行状态等，不能充分发挥从节点的能力。这些问题已经成为集群技术发展的瓶颈。

发明内容

有鉴于此，本发明的主要目的在于提供一种分布式集群中数据管理的系统和方法，能够分担主节点的负荷，结合从节点的实际情况充分发挥其能力。

为达到上述目的，本发明的技术方案是这样实现的：

本发明提供了一种分布式集群中数据管理的系统，所述系统包括：主节点和负责节点，其中，

所述主节点，用于对存储的数据进行分区，为每个数据分区选择一个从节点作为负责节点；

所述负责节点，用于对所述负责节点负责的数据分区进行管理。

其中，所述负责节点对自身负责的数据分区进行管理，包括：

当所述负责节点负责的数据分区的信息有变化时，由所述负责节点将变化的数据发送给其他从节点完成写入操作；

定期检查订阅队列，根据有效的订阅请求向发送订阅请求的从节点发送自身负责的数据分区内的数据。

其中，所述主节点为每个数据分区选择一个从节点作为负责节点具体是根据从节点的运行状态和从节点能力选择负责节点。

其中，所述系统还包括：

新加入的节点，用于广播发送注册请求，接收到注册响应后，向主节点发送注册节点信息，接收主节点同步的集群节点列表和数据分区信息；

所述主节点，还用于接收注册请求后，判断所述新加入的节点是否合法，如果合法则返回注册响应，否则返回失败响应，接收到注册节点信息后，将新加入的节点的信息加入集群节点列表，并在集群中同步更新集群节点列表和数据分区信息。

其中，所述新加入的节点或者写入操作失败的节点，还用于向主节点发送订阅数据请求；

所述主节点，还用于接收订阅数据请求，添加到订阅队列中，并在集群中同步订阅队列。

其中，所述负责节点，还用于定期检查订阅队列，判断订阅数据请求中的订阅进度和当前数据是否一致，如果不一致则将当前数据组包构造通知消息发送到订阅的节点。

本发明还提供了一种分布式集群中数据管理的方法，所述方法包括：

主节点对存储的数据进行分区，为每个数据分区选择一个从节点作为负责节点；

负责节点对所述负责节点负责的数据分区进行管理。

其中，所述负责节点对自身负责的数据分区进行管理，包括：

当所述负责节点负责的数据分区的信息有变化时，由所述负责节点将变化的数据发送给其他从节点完成写入操作；

定期检查订阅队列，根据有效的订阅请求向发送订阅请求的从节点发送自身负责的数据分区内的数据。

其中，所述主节点为每个数据分区选择一个从节点作为负责节点具体是根据从节点的运行状态和从节点能力选择负责节点。

其中，在负责节点管理的过程中，所述方法还包括：