[发明专利]一种面向粗粒度MPI+OpenMP混合并行的结构网格区域划分方法

说明书

一种面向粗粒度MPI+OpenMP混合并行的结构网格区域划分方法，包括以下步骤：步骤1，构建目标网格所有的区域划分方式集合；步骤2，为每个区域划分方式Mx，My，Mz，threads四元组建立通信拓扑；步骤3，根据MPI通信面的大小对区域划分方式四元组进行过滤分类；步骤4，对S1的几何参数Mx，My，Mz执行面向cache‑aware的区域划分策略；步骤5，度量相同区域划分方式的不同进程、线程组合的性能差异；步骤6，计算出开销最小的区域划分方式四元组Mx，My，Mz，threads，将其作为输出的区域划分方式。本发明适用于粗粒度MPI+OpenMP混合并行方式。与其他的快速划分方式相比较，如通信量最小，往往能够找到更优的区域划分方式；与性能模拟器相比较，则具有高效的划分选择速度。

技术领域

本发明涉及计算机程序的数据划分和布局优化领域，特别涉及一种面向粗粒度MPI+OpenMP混合并行的结构网格区域划分方法。

背景技术

计算流体动力学(Computational Fluid Dynamics，CFD)是一门交叉学科，它借助于数值计算理论和高性能计算技术对流体力学的问题进行数值模拟和分析。随着计算机领域相关技术的飞速发展，计算流体力学研究的问题越来越深入，导致求解所需要的计算规模、存储规模都远超单台计算机所的性能极限，因此当前的大规模数值模拟都往往运行在分布式集群上。在集群上运行CFD程序，面临的第一个问题就是如何将原本的网格数据进行合理的分解，以充分利用多台计算节点的全部性能，实现任务的高效并行。区域分解方法(Domain Decomposition Method，DDM)为计算流体力学模拟的并行求解提供了有效途径，对数据集的分解可以归结为对网格数据的区域分解。在相同的并行规模下，不同的区域分解方式虽然可以拥有相同规模的子求解域，但这些子求解域的数据布局不一样，可能引起计算过程的访存性能波动。同时，分布式CFD程序需要借助于MPI完成不同计算节点的任务之间的通信，数据布局引起通信面、消息大小和消息数目的改变，也会造成不同的通信开销。

为了提高CFD程序的求解效率，研究者们使用MPI、OpenMP、CUDA、OpenCL 等并行编程框架结合CPU、GPU、MIC等硬件设备进行了大量研究。但为了保证代码的可移植性，很多程序仅支持CPU的并行计算。对于这一类的代码，主要采用MPI和OpenMP 两种编程框架。对于这类并行程序，节点间并行采用消息通信，而节点内既可以采用消息通信，也可以采用共享内存。为了减少通信开销，可以采用粗粒度MPI+OpenMP混合并行计算。在这种并行方式中，每一个线程绑定一个CPU核，执行一个子网格块区域的求解，而MPI进程仅用于分配线程，管理资源和建立MPI通信。它理论上具有更好的可扩展性、易读性、可维护性。采用粗粒度MPI+OpenMP混合并行方式，则意味着每个网格块的通信面可以分类为进程间的MPI通信面和进程内的OpenMP共享内存通信面。不同的进程、线程组合带来不同的通信方式，从而有不同的通信开销。

另外，如何对网格进行划分也是一个需要仔细考虑的问题。本方法针对的是六面体结构网格，划分之后得到的子网格块是网格规模近似的六面体结构网格，以达到负载均衡的目的。因此至多存在六个通信面，可以分为三类，分别是X-Y面、X-Z面和Y-Z面。通常根据每个通信面的估计通信量来评判区域划分方式的优劣，但是这种方法较为粗糙，只能对通信量差别较大的区域划分方式起作用。也可以通过建立通信模型的方式，先获得程序运行的轨迹，再在模拟器上重现和放大来获得不同区域划分方式的性能差异，但这种方法时间开销比较大，对程序的插桩效果也受到平台的影响，得到的结果并非显著优于其他方法，即代价较大而收益不足。可以发现，通信面在通信时往往会经历数据打包、缓冲的过程，不同区域划分方式的数据布局存在不同的cahce失效和数据局部性。但是从何种角度来度量通信打包缓冲过程中的数据局部性并将其利用起来的研究比较少。这种建立性能模型的方法既考虑到了数据局部性，求解的时间开销也少，逐渐成为一种新的研究途径。此外，区域划分方式的研究往往都是针对纯MPI并行方式，极少有针对粗粒度 MPI+OpenMP混合并行方式的区域划分方式研究。

发明内容