[发明专利]大规模集群系统的数据传输网络及其构建方法

说明书

技术领域

本发明涉及一种用于数据传输的通信网络及其构建方法，特别是应用于大规模计算机集群网络的数据传输的通信网络及其构建方法。

背景技术

传统的集群网络监测工具一般采用C/S架构，1对n的通信模型，当计算规模在几十个节点以下时还可以获得较好的性能，而当计算规模扩展到几百甚至几千、上万时，这样的通信模型显然无法满足网络监测工具通信的性能需求。本发明旨在解决这一问题，通过研究传统模型的通信瓶颈，使用经典的LogP模型对并行计算网络进行分析，证明了使用基于树形网络的层次通信模式的必要性和优越性，并开发出基于树形的通信网络，以满足大规模计算环境下的网络监测工具的通信需求，并可提供给其他具有相似需求的并行工具或相关平台使用。

LogP模型是一个比较经典的分析并行计算机网络通信性能的模型，具有简单、精确、适用范围广等特点，本发明通过对LogP模型分析，证明采用树形的层次通信模型相比传统的1对n通信模型更具有合理性和优越性。

LogP模型假设并行系统是一个分布式存储的、点到点通信的结构，包括数以千计的节点，每个节点具有强大的处理器和内存，使用具有明显延迟和有限带宽的网络进行通信，使用四个主要参数来描述通信网络，其分别是：

■L(Latency)：网络延迟的上界，通信中消息从源节点到目的节点的时间；

■o(overhead)：额外开销，表示处理器发送或接收一条消息所消耗的时间(包含操作系统核心开销和网络软件的开销)，这期间处理器不能做其他计算；

■g(gap)：间隔，处理器连续发送和接收消息的最小时间间隔，其倒数相应于处理器的通信带宽；

■P(Processor)：并行系统中的处理器个数或者存储器模块数。

LogP模型使用L、o、g和P四个简单的参数精确的描述了并行系统中的网络通信特征，同时屏蔽了网络拓扑、路由算法和通信协议等细节。因为有L和g的限制，这样的网络容量是有限的，任何时刻在任何两个节点之间最多有L/g个消息在传递，处理器试图发送超过这个数目的消息则要等待。尽管网络拓扑对网络性能的影响也很大，但是LogP模型中忽略了这一点，因为研究发现包含上千个节点的网络，不管是超立方体、蝶形或胖树拓扑结构，其平均的性能差别仅有2倍，所以忽略网络拓扑不影响对整个网络的建模。

下面的几个参数(L、o、g)单位为处理器的CPU周期数，其取值视具体的网络有所不同，我们采用的方法是，如果网络带宽是w，跳数为H，中继节点的延迟是r，要传送的消息是M位大小，发送开销和接收开销分别为T_send和T_recv，b是处理器对剖宽度，比较合理的选择是：

o＝(T_send+T_recv)/2      (1)

L＝H*r+M/w              (2)

g＝M/b                  (3)

下面使用LogP模型简单分析一下传统的1对n通信模式和基于树形的层次通信模式的不同。首先使用LogP研究人员给出的8节点最优广播树作为例子说明这两种模式下通信的流程，并计算一下分别的时间消耗。这里按照上文中给出的值取四个参数分别为P＝8，L＝6，g＝4，o＝2，这样的分析并不涉及具体的并行系统，参数的取值并不会影响对问题性质的分析。图1中给出了8个节点时1对n通信模式的拓扑结构和使用LogP模型对其通信过程的详细分析，容易看出，根节点逐个向每个叶子节点广播消息，每个节点上的数字代表其收到消息的时间，从开始发送到最后一个节点收到消息总共花费了34个CPU周期。图2中给出的是二层的树形通信结构，图形中各个数值的含义与图1相同，只不过根节点只向1、2、3、5四个节点发消息，这四个节点再分别把消息发送给自己的子节点，最后消息广播遍全网的时间是24个CPU周期。

下面把上面的两种情况做一下推广，假设网络中有n个节点，而n刚好等于2^h-1，也就是说这些节点恰巧可以用来组成一颗高度为h的满二叉树，根节点需要把一个消息广播到全网。首先分析1对n的情况，这种情况下一个根节点和其余的n-1个节点直接相连，必须逐个的把消息发送到每一个子节点，整个广播的完成时间是：

T_flat＝(2^h-3)g+2o+L    (4)

然后设想这n个节点组成了一颗高度为h的满二叉树，节点数为n＝2^h-1，第i层的节点个数为2^i-1，根据LogP模型，整个广播的完成时间是：