[发明专利]一种基于插值算法面向计算通信联合优化的负载均衡方法

说明书

技术领域

本发明属于高性能可扩展并行数值模拟应用领域，特别涉及一种基于插值算法的面向计算通信联合优化的负载均衡方法。

背景技术

在高性能可扩展并行数值模拟应用领域，如流体动力、高温高压物理过程模拟计算等，常常需要使用成百上千的处理器并行执行运算任务。这些计算通常具有如下特点：(1)数据元素通常可以被映射到静态且均匀的多维网格上；(2)不同数据元素的运算时间可能不同；(3)数据元素的运算量随计算的时间步发生变化且相近时间步的变化很小；(4)计算的通信通常只与相邻数据元素相关。为提高计算效率，需使每个处理器在相同时间步的计算时间和通信时间(不含等待时间)之和基本相当，并尽可能降低通信延迟。动态负载均衡机制通过合理划分数据元素使得每个处理器承担的计算任务相对均衡，并能根据处理器的负载变化对其进行动态调整。

负载均衡问题可定义为：设需要处理的N个数据元素分布在一个多维空间定义为V_d表示d维空间(d＝1,2,3,4)，用来执行并行运算的处理器共M个定义为{(p_i)|1≤i≤M}，通常M<<N；N个数据元素被依据一定规则划分为M个数据块，每个处理器负责一个数据块。在某个时间步处理器的有效运算时间(包括有效的计算时间和通信时间)分别为{(C_i)|1≤i≤M}，则该时间步的负载均衡效率E可以定义为：

显然E≤1，E越大负载越均衡，而动态负载均衡的目的是使E的值在运算过程中大部分时间保持在一定的阈值以上且越大越好。负载均衡通常在两个时机发挥作用：第一，是计算开始之前，这时需要对数据元素的计算量等进行估计，并对多维空间分布的数据元素进行划分；第二，在计算阶段发现处理器负载不均衡(即负载均衡效率低于设定的阈值)时，对数据划分进行动态调整。

已有的一种已有的针对并行计算的负载均衡方法通常可以分为初始划分和动态调整两个阶段：

具体实现步骤包括两个阶段。

初始划分阶段包括：

步骤1-1)采用空间填充曲线法对多维空间分布的数据元素进行排序；

步骤1-2)平均划分(使每个数据块的数据元素个数相当)条件下，测量一个时间步各处理器的计算时间；

步骤1-3)假定位于同一处理器的数据元素均摊该处理器的计算时间(包括计算时间和通信时间)，根据处理器的计算时间可以得到每个数据元素近似的计算时间；

步骤1-4)根据数据元素的近似计算时间，重新划分数据块，使每个数据的计算时间相当；

步骤1-5)根据数据块的新划分在处理器之间调整数据元素；继续运行一个时间步，并测量各处理器的有效计算时间；

步骤1-6)计算负载均衡效率，如果负载均衡效率没有达到要求，则转到步骤1-3)，重新进行划分数据块；如果负载均衡效率达到要求，则继续运行，进入动态调整阶段；

阶段2：动态调整阶段

步骤2-1)根据设定的时间间隔，定时查看各处理器的负载均衡效率，收集n个时间步各处理器的计算时间，如果n个时间步的负载均衡的效率均低于设定的阈值(如80％)，则转入步骤2-2)，否则继续运行，等待下一个时间间隔；

步骤2-2)收集最近一个时间步的计算时间；转入步骤1-3)继续执行。

以上方法存在两点不足：

第一，该方法在对数据元素的计算时间进行估计时，没有将计算时间和通信时间分开考虑，计算量估计不精确、调整次数多；

第二，简单假设同一处理器的数据元素计算量相同，数据元素的计算量估计误差较大，收敛周期长。

发明内容

本发明的目的是为克服已有技术的不足，提出一种基于插值算法的面向计算通信联合优化的负载均衡方法，旨在流体动力、高温高压物理过程模拟计算等技术领域提升参与运算的各处理器任务的均衡性，提高运行效率，节约计算资源。

本发明提出的一种基于插值算法的面向计算通信联合优化的负载均衡方法，该方法分初始划分和动态调整两个阶段，其特征在于，初始划分阶段包括以运算的实测计算量和责任通信量作为基础值，利用插值算法推算计算量累加函数和通信量变化率函数的近似函数，然后以这两个函数为参照通过多次迭代获得最佳的数据划分方案；动态调整阶段包括并行程序运行过程，监视每次运算的计算量和通信量变化，分析处理器的负载均衡状况并预测负载均衡的趋势，当负载均衡的效率或预测值低于设定的阈值时，根据当前的计算量和通信量的实测值再次计算量累加函数和通信量变化率函数的近似函数，并对数据块的划分进行动态调整。