[发明专利]并行计算中作业全局任务信息传递方法

说明书

技术领域

本发明涉及网络通信领域，尤其涉及一种并行计算中作业全局任务信息传递方法。

背景技术

在并行计算中，需要将作业全局任务信息传递部署到所有运行课题任务的计算节点上。作为启动作业过程中占用时间较多的部分，全局作业任务信息传递部署的快慢将直接影响整道作业的启动时间与效率。

当前主流作业管理系统中，主要通过单层次一对多的方式，直接在作业总控将作业任务信息传递到所有计算节点。当系统计算节点规模巨大时，在这种方式中由于存在一对多单点瓶颈，作业总控点的带宽制约了信息传递的效率，导致作业启动时间长、效率差。为了提高作业启动的效率，减少全局任务信息传递时间，需要其他有效的技术手段来解决网络压力问题。

发明内容

本发明所要解决的技术问题是减少全局任务信息传递时间，提高大规模作业启动的效率，有效缓解网络压力。

为了解决上述问题，本发明提供了一种并行计算中作业全局任务信息传递方法，包括：

根据所述并行计算中作业的规模，确定所需中间层的资源；所述中间层至少为一层；

作业总控将所述作业全局任务信息采用一对多的方式传递至中间层的资源，并经由所述中间层的资源将所述作业全局任务信息传递至计算节点；

其中，所述中间层的资源的数量小于所述计算节点的数量。

可选的，所述经由所述中间层的资源将所述作业全局任务信息传递至计算节点的过程中，各层中间层之间的传递采用一对多的传递方式，最底层中间层的资源将所述作业全局任务信息向所述计算节点进行一对多的传递。

可选的，所述一对多的数量比为1:350~1:400。

可选的，所述中间层的资源包括物理机、物理机上的虚拟机中的一种或多种。

可选的，在由作业总控至计算节点的传递路径中，所述虚拟机只能向计算节点传递所述作业全局任务信息；所述物理机能向物理机、虚拟机或者计算节点中的一种或多种传递所述作业全局任务信息。

可选的，所述中间层的资源为虚拟机时，对从属于同一物理机的多个虚拟机，只向其中一个虚拟机传递所述作业全局任务信息；

已得到所述作业全局任务信息的虚拟机以内存拷贝的方式向从属于同一物理机的其他虚拟机提供所述作业全局任务信息。

可选的，向从属于同一物理机的多个虚拟机中编号最小的虚拟机传递所述作业全局任务信息。

可选的，在向所述编号最小的虚拟机网络传递作业全局任务信息的同时，还向所述编号最小的虚拟机传递从属于同一物理机的虚拟机信息链表；

所述编号最小的虚拟机根据所述虚拟机信息链表中的编号，向与所述编号对应的虚拟机提供所述作业全局任务信息。

可选的，从属于同一物理机的虚拟机数量不超过8个。

可选的，当所述中间层的资源为虚拟机时，还包括：

根据所述并行计算中作业规模及物理机的负载情况，计算所需的虚拟机数量；

依据动态自适应算法选择最优的虚拟机。

可选的，还包括：

在作业总控传递所述作业全局任务信息之前，对所述作业全局任务信息进行压缩；

在计算节点接收所述作业全局任务信息之后，对所述作业全局任务信息进行解压缩。

与现有技术相比，本发明的技术方案具有以下优点：

1、在作业总控与运行课题任务的计算节点之间增加中间层，作业总控仅需向中间层进行作业全局任务信息的传递，再由中间层向计算节点传递作业全局任务信息，有效缓解了作业总控点的传输瓶颈问题，从而减少全局任务信息传递时间，提高作业启动的效率，有效缓解网络压力。

2、可选方案中，采用虚拟管理资源作为中间层进行作业全局任务信息的传递，进一步减少了实际物理传输量，从而进一步缓解了单点传送瓶颈问题；并且利用虚拟机内存拷贝技术提高传输速率，可有效提高任务部署效率，减少信息传递时间。

3、可选方案中，在作业总控向中间层传递作业全局任务信息之前对作业全局任务信息进行了压缩，进一步减少了网络数据传输量，从而进一步缓解单点网络传输压力，提高了作业启动的效率。

附图说明

图1为本发明的并行计算中作业全局任务信息传递方法一具体实施方式的流程图；

图2为本发明的并行计算中作业全局任务信息传递方法另一具体实施方式的流程图；

图3为本发明的并行计算中作业全局任务信息传递方法第一实施例的过程示意图；

图4为本发明的并行计算中作业全局任务信息传递方法第二实施例的过程示意图；