[发明专利]混合网络系统、通信方法和网络节点

说明书

提供了混合网络系统、通信方法和网络节点。混合网络系统包括点对点网络和广播网络的组合网络体系架构，点对点网络具有多个点对点信道，每个网络节点能够经由点对点信道将消息发送到对应的网络节点或者从对应的网络节点接收消息；广播网络具有多个广播信道，每个广播信道同时最多只能有一个发送者，但能够有多个接收者；至少部分网络节点具有发送要广播的消息的能力，至少部分网络节点具有接收广播的消息的能力，至少一些网络节点被配置为至少根据自身要执行的通信任务，选择广播网络或点对点网络来完成要执行的通信任务。优选每个网络节点均具有发送和接收广播的消息的能力。本发明实施例的混合网络系统具有高灵活性和高通信性能。

技术领域

本发明总体地涉及数据处理，更具体地涉及混合网络系统、通信方法和网络节点，能够应用于例如并行计算、数据中心、分布式文件系统等。

背景技术

很多高度依赖于通信的计算机领域具有提高通信性能的需求。例如，并行计算、数据中心和分布式文件系统等等。

并行计算是不断发展的计算机领域，并行计算是指在多个处理器上执行同一任务(该任务被分解并特别调整)以便更快地获得结果。并行计算基于如下事实：求解一个问题的过程通常能够被划分成多个更小的任务，这些更小的任务能够通过协调被同时执行。

并行计算机执行并行算法。并行算法被分解为许多小份任务，这些小份任务在许多不同处理装置上执行，最终再次汇总在一起以获得数据处理结果。在本说明书中，执行并行程序的各个小份的众多处理装置被称作“计算节点”，并行计算机由计算节点以及其他处理节点(例如输入/输出节点和服务节点)构成。

为了执行并行程序，在并行计算机的节点之间经常需要进行大量的数据通信。通常，节点之间进行数据通信所采用的常见方式是消息传递。

通信作为并行程序的主要组成部分之一，在很大程度上影响着并行程序的性能。

目前，MPI(“消息传递接口(Message Passing Interface)”)是在并行计算机上运行并行程序的计算节点之间进行通信的事实标准。MPI是现有的并行通信库，是并行计算机上进行数据通信的计算机程序指令的模块。MPI由MPI论坛进行发布，MPI论坛是一个开放群，具有很多定义并维护MPI标准的组织代表。

并行程序的通信函数主要包括点对点通信函数和集合通信函数。点对点通信函数能够完运行并行成两个进程之间的数据交换，包括阻塞通信(MPI_Send，MPI_Recv)以及非阻塞通信(MPI_Isend，MPI_Irecv)等；而集合通信函数可以实现多个进程(进程组)之间的数据交换，包括MPI_Barrier，MPI_Bcast，MPI_Allgather，MPI_Alltoall等。在本文中，术语“点对点通信函数”可以与术语“点对点操作”通用，“集合通信函数”可以与术语“集合操作”(本领域中有时也称其为“集体操作”、“组通信”等等)通用。

发明人发现，并行计算机的并行计算能力的扩展经常受到数据通信性能的限制。随着规模的扩展，通信时间占总执行之间的比例增加，其中主要是集合通信函数的通信时间导致的，例如在2048进程的时候计算时间仅占39.2％，要提高应用的可扩展性，必须提高系统的通信性能，特别是集合通信的性能。

发明人还发现，在数据中心的云平台的操作系统镜像广播应用和分布式文件系统的文件备份应用中，也存在改进通信性能的需要。

发明内容

鉴于以上情况，做出了本发明。

本发明的各个实施例提供了以下技术方案：

1、一种混合网络系统，包括：

点对点网络和广播网络的组合网络体系架构，

其中，该点对点网络具有多个点对点信道，每个网络节点能够经由点对点信道将消息发送到对应的网络节点或者从对应的网络节点接收消息，以及