[发明专利]一种集群中的数据处理方法及装置

说明书

本申请实施例公开了一种集群中的数据处理方法及装置，所述集群中包含路由节点及工作节点，其中，所述工作节点包括：与所述路由节点具有直接连接关系的第一类节点、以及与所述路由节点不具有直接连接关系的第二类节点，所述方法包括：所述集群中的路由节点接收任务，将所述任务发送给所述第一类节点，以使得接收到所述任务的第一类节点，向集群中的其他第一类节点和第二类节点发送所述任务。通过本方法去中心化的架构，在无需Sever节点的情况下，实现集群中各节点间的数据处理。基于这样的架构构建的集群，能够有效地支撑庞大的集群规模，整个集群几乎不存在网络瓶颈、性能瓶颈。

技术领域

本申请涉及计算机技术领域，尤其涉及一种集群中的数据处理方法及装置。

背景技术

随着信息技术的发展，传统单一服务器或数据库等处理设备，已经不能满足海量数据的处理要求，因此集群式的架构应运而生。通常，集群内包含多个处理设备(如：服务器、数据库或处理器等)，用于进行计算、存储等数据处理。在实际的业务场景下，为了保证集群的正常运行，自动化的集群管理不可或缺。

现有技术中，主要采用服务端(Server)-客户端(Agent)的架构实现自动化的集群管理。具体而言，如图1所示，每台处理设备上都部署相应的Agent，通过一台独立运行的Server与各Agent之间建立通信连接，实现对集群中各处理设备的管理。

但是，在集群规模不断扩大的情况下，Server的工作负荷将随着集群内设备数量的增加而增加，以致于Sever不足以支撑集群规模指数级的增长。此外，在需要集群中处理设备协同进行业务处理的场景下，与业务相关的消息通常需要Sever“亲力亲为”发送给集群中的所有设备，而Sever发送消息可能受到自身处理能力和网络负载的限制，导致消息需要经过较长的时间才能发送至集群中的各设备中。

发明内容

本申请实施例提供一种集群中的数据方法及装置，用以解决基于现有的集群架构进行数据处理存在一定缺陷的问题。

本申请实施例提供的基于路由节点侧的集群中的数据处理方法，所述集群中包含路由节点及工作节点，其中，所述工作节点包括：与所述路由节点具有直接连接关系的第一类节点、以及与所述路由节点不具有直接连接关系的第二类节点，所述方法包括：

所述集群中的路由节点接收任务；

将所述任务发送给所述第一类节点，以使得接收到所述任务的第一类节点，向集群中的其他第一类节点和第二类节点发送所述任务。

本申请实施例提供的基于工作节点侧的集群中的数据处理方法，所述集群中包含路由节点及工作节点，其中，所述工作节点包括：与所述路由节点具有直接连接关系的第一类节点、以及与所述路由节点不具有直接连接关系的第二类节点，所述方法包括：

所述工作节点接收任务；

确定与所述任务相关的工作节点；

当所述工作节点确定自身与所述任务不相关时，将所述任务发送给与该工作节点具有连接关系的其他工作节点。

本申请实施例提供的基于新增节点侧的一种集群中的数据处理方法，所述集群中包含路由节点及工作节点，其中，所述工作节点包括：与所述路由节点具有直接连接关系的第一类节点、以及与所述路由节点不具有直接连接关系的第二类节点，所述方法包括：

新增节点获取所述集群中第一类节点的节点信息；

根据获取到的所述节点信息，向所述第一类节点发送加入请求。

本申请实施例提供的基于工作节点侧的一种集群中的数据处理方法，所述集群中包含路由节点及工作节点，其中，所述工作节点包括：与所述路由节点具有直接连接关系的第一类节点、以及与所述路由节点不具有直接连接关系的第二类节点，所述方法包括：