[发明专利]基于多环网络拓扑结构的大规模集群系统

说明书

技术领域

本发明涉及大规模集群系统，尤其涉及一种基于多环网络拓扑结构的大规模集群系统，属于属于信息系统和计算机网络的交叉技术应用领域。

背景技术

大规模集群系统通过将计算任务均衡分布在由大规模计算节点构成的资源池上，使各种应用系统能够根据按需透明的获取高性价比的计算能力、存储资源和信息服务。大规模集群系统平台上可以承载了信息检索、数据挖掘、商业信息处理和科学计算等大规模的数据处理工作。

目前的集群系统都强调良好的可管理性，一般倾向于采用集中式拓扑结构，从而保障服务质量。即使用一个或几个主控服务器加大量集群服务器构成，主控服务器来负责监控各节点的状态，进行失效检测和实现负载均衡等。

基于集中式拓扑结构的控制管理机制的主要缺陷就是系统存在瓶颈问题和单点故障，因此单点需要高可用性，如记录恢复日志或双机备份等，优点是可控性强、维护方便灵活。

可见，在大规模集群系统中如果采用集中控制管理的策略，作为任务执行者的计算节点需要主动向管理节点定期发送信息以汇报当前工作状态，防止节点失效带来的延误，这显然是不可行的，因为数量庞大的计算节点向管理节点发送周期信息将会带来大量额外的网络通信负担，并容易大量消耗管理节点的资源，造成类似于分布式拒绝服务攻击的效果。如果采用分布式控制管理机制，以减少管理节点收到的心跳信息数量，则需要一种高效的适合大规模集群系统的网络拓扑结构来支撑系统的正常运行。

发明内容

本发明所要解决的技术问题在于克服现有大规模集群系统由于节点的数量庞大，系统的稳定性、可伸缩性和可管理性难以保障的缺陷，提供一种基于多环网络拓扑结构的大规模集群系统，能够实现对数量庞大的计算节点进行高效管理。

本发明采用以下技术方案解决上述技术问题：

一种基于多环网络拓扑结构的大规模集群系统，所述大规模集群系统包括管理节点

和计算节点，所述计算节点按照节点在线的时间段分为多个组，每个组具有一个唯一的环标识，每个组中的计算节点具有一个唯一的节点标识符；每个组的计算节点按以下方法连接为一个环形拓扑结构：对该组内的计算节点网络地址进行散列运算，以散列运算得到的关键值作为组内节点标识符，并沿顺时针方向按节点标识符从小到大的次序将各计算节点排列起来，从而构成环型拓扑；管理节点上保存每个环的全环节点列表。

进一步地，所述环中的每个节点上均存储有一张局部环节点列表，保存了与该节点直接和间接相邻的节点的信息，包括：节点所属环标识符、前驱与后继节点的节点标识、前驱与后继节点与本节点的相对网络距离、前驱与后继节点的状态；各节点定期向其直接前驱结点和直接后继节点发送自身状态消息。

节点加入按照以下方法：

步骤1、节点加入网络时，首先向管理节点发送一个请求加入网络的消息，管理节点收到节点请求加入消息后，计算或验证节点的标识，并返回给该节点一张数字证书和回应消息，回应消息中包含了环中直接前驱节点和直接后继节点的信息；

步骤2、节点收到回应消息后，与回应消息中的直接前驱节点和直接后继节点进行联系，并通过回应消息中的直接前驱节点和直接后继节点的局部环节点列表来初始化本节点的局部环节点列表；

步骤3、回应消息中的直接前驱节点和直接后继节点在获得该节点的节点更新请求信息后，也更新各自的局部环节点列表，直接前驱节点通知其直接前驱节点更新自己的局部环节点列表，直接后继节点通知其直接后继节点更新自己的局部环节点列表。

节点退出按照以下方法：

节点主动退出的情况：

退出节点首先向管理节点发送信息，要求注销其注册信息；然后通知他的前驱节点和后继节点，要退出这个网络；当前驱节点和后继节点知道收到通知后，分别更新各自的局部环节点列表中跟该退出节点有关的数据，管理节点也更新全环节点列表；

节点被动退出的情况：

当有节点非正常被动退出网络，它的直接前驱节点和后继节点未接收到该节点应定期发来的状态信息，则直接前驱节点和后继节点向管理节点报告该节点已经非正常被动退出网络；管理节点收到报告后向该节点发信息，如果在规定时间内得不到该节点反馈的信息，则确认该节点已退出网络，并向该节点的直接前驱节点和后继节点回应确认信息；该节点的直接前驱节点和后继节点更新各自的局部环节点列表，管理节点更新全环节点列表，网络拓扑重建 。

本发明具有以下有益效果：

（1）    系统实现了负载均衡，计算节点向管理节点发送的报告在线情况的信息量减少，

减轻了管理节点的负载；