[发明专利]多网络环境下基于强化学习的MPI消息调度方法

说明书

技术领域

本发明涉及多套通信网络环境下MPI系统中的消息调度方法。

背景技术

在高性能计算领域，并行应用程序的进程间通信多采用消息传递的方式，并提供标准的消息传递接口(Message Passing Interface，MPI)用于并行程序的设计。实现标准的消息传递接口的具体部件称为MPI系统，在高性能并行计算机系统中，MPI系统负责并行应用程序的进程间通信。当单个计算结点的计算能力不高，高性能并行计算机只需配置一套通信网络用于计算结点间的通信，这时不存在MPI消息在多套网络上调度的问题。随着处理器和集成电路技术的迅猛发展，目前高性能并行计算机的计算结点通常为多路多核的SMP结点，即单个计算结点配有多个CPU，每个CPU均为多核结构，而且处理器正由多核向众核发展，单CPU的峰值性能不断提高，因此单个计算结点的计算能力必将持续增长。伴随着单个计算结点的计算能力的提高，计算结点之间的通信带宽必须增大，以使高性能并行计算机的通信能力能够与计算能力相匹配。由于单套网络的通信带宽已很难满足应用需求，高性能计算机需要配置多套网络用于计算结点间的通信，每个计算结点通过多个网络接口控制器NIC(NetworkInterface Controller)接入这些网络。在这种结构的高性能并行计算机系统中，本地计算结点上的并行应用进程向其他结点上的进程发送的消息需要合理地调度到各套网络上，才能最大限度地利用通信带宽，充分发挥出高性能并行计算机系统的计算性能。为此，MPI系统需要支持多套网络同时通信，即将消息调度到这些网络上并行发送。

针对配有多套通信网络的高性能并行计算机，目前的MPI系统采用简单的循环调度方法进行消息的调度，对配有m，(m＞1)套通信网络的高性能并行计算机，循环调度法的流程如图1所示，该方法包括以下步骤：

第一步、初始化：

1.1在MPI系统启动过程中，将第0套网络设置为发送网络，即将发送网络的标识i设置为：i＝0；

1.2设置消息段的最大长度seg_max：为了使多套网络尽量并发工作，对于较长的MPI消息，可将其分段，然后将消息段调度到不同的网络发送。当通信网络的带宽高，延迟小，可将seg_max设置的大一些，否则将其设置的小一些，seg_max的一般取值范围为1MB～64MB。

1.3设置发送计时器timer：设置timer＝0，并启动该计时器；

第二步、等待并行应用程序的消息发送请求：如果有未处理的消息发送请求，取出最先到达的消息请求，获取该请求需要发送的MPI消息，将MPI消息的未发送部分的长度message_length设置为该MPI消息的长度，并设置调度结束标识FINISHED＝0，转第三步；否则继续等待；

第三步、获取当前消息段：根据seg_max的值获取当前消息段，具体如下：

3.1如果FINISHED＝1，说明该MPI消息已调度完毕，转第二步；

3.2如果MPI消息的未发送部分的长度message_length大于seg_max，则从前至后取出长度为seg_max的一段作为当前消息段，并按如下公式更新message_length：

message_length＝message_length-seg_max

转第四步；

3.3如果MPI消息的未发送部分的长度message_length小于等于seg_max，则直接将未发送部分作为一个消息段，设置调度结束标识FINISHED＝1，转第四步；

第四步、发送消息段：将当前消息段放置到第i套网络的发送队列；

第五步、更新发送网络i：i＝(i+1)modm，转第三步。

第六步、如果发送计时器timer的值超过预设的值(一般为10ms～1s)，则触发消息段发送处理，依次检测每套通信网络的发送队列，并将发送队列中的消息段发送至相应的网络接口控制器，具体步骤如下：

6.1设置待检测网络的标识i₁＝0；

6.2检测第i₁套网络的发送队列，如果发送队列中有消息段，则转步骤6.3；否则转步骤6.4；