[发明专利]一种自动优化的MPI通信传输方法

说明书

本发明公开了一种自动优化的MPI通信传输方法。本发明所述自动优化MPI通信传输方法，根据通信数组的数据量、通信次数和前后代码段情况，选择最优通信数据量区间{min，max}下每个数据包的大小，利用MPI通信带宽、降低时延，提高程序通信执行效率，特别在大规模下能显著减少程序执行的时间开销，实现对不同通信数据量的MPI程序进行自动优化。

技术领域

本发明具体涉及一种自动优化的MPI通信传输方法，属于高性能计算、并行计算、计算机网络的技术领域。

背景技术

超级计算机的兴起与不断发展，给应用程序的计算提供了更高效的平台，应用程序可模拟计算的规模也逐渐增加，大规模计算变得越来越普遍。MPI作为一种分布式存储并行内存编程模型，经常被应用于大规模计算任务。MPI通过消息传递的方式来完成进程间的数据传输，借助每个进程自己独立的堆栈空间，完成进程间通信的显式函数调用。MPI已经成为高性能计算领域主流并且被广泛应用的进程间通信方式，目前MPI实现主要分为MPICH和OPENMPI两大类。

MPI的使用和流行使得进程间通信的性能优化逐渐得到重视，通信的带宽和时延成为衡量MPI进程间通信性能的两个主要因素。在小规模下，MPI进程通信带宽随进程规模的不断增加，呈线性增长。但是，进行大规模计算，特别是上千进程甚至上万进程时，MPI通信带宽趋势发生变化，不再呈线性递增。在神威国产超级计算机10000进程下，单次通信数据量小于2k字节时，带宽曲线呈指数增长；单次通信数据量等于2k字节时，带宽达到峰值；当单次通信数据量增加到4k字节期间，带宽呈明显下降趋势；然后随着单次通信数据量增大到1M字节期间，带宽曲线再次呈指数增长；单次通信数据量为1M字节时，带宽达到最大但低于峰值。对于时延而言，单次通信数据量小于等于2k字节时，时延在同一量级，增加不明显；当单次通信数据量增加到16k字节期间，时延呈明显上升趋势；随着单次通信数据量增大到1M字节期间，个别点有所下降，但是仍然保持较高的时延。综合考虑通信带宽和时延两个因素，进行大规模计算时，大多数应用程序的MPI通信带宽利用率低，时延高，最终制约了应用程序的计算性能。

针对上述问题，目前也形成了一些针对特定规模下的MPI优化方法，但是实际问题多种多样，要根据具体情况具体优化，给实际优化的工作带来了巨大挑战，不仅产生了较大的工作量，而且可推广性比较差。亟需找到解决此类问题的关键，设计一种可以自动优化的MPI通信传输方法。

例如，赵海涛，唐紫浩等人在专利“一种基于MPI广域高性能计算网络方法”中提出了一种新的OPENMPI框架模型来解决带宽利用率低、时延高的问题，但是该方法无法实现对不同通信数据量的MPI程序进行自动优化。

发明内容

针对现有技术的不足，本发明提供了一种自动优化的MPI通信传输方法。

发明概述：本发明根据测试代码中MPI通信的特点，针对性地选择合适的优化方法，对MPI通信函数进行打包或者拆包操作。本发明默认用户基于MPI的应用程序能正确并发执行。

术语解释：

MPI:(Message Passing Interface)，消息传递接口。

打包：指将多个同类MPI操作合并成一个MPI操作。

拆包：指将一个MPI操作拆分成多个同类MPI操作。

本发明的技术方案为：

一种自动优化的MPI通信传输方法，包括步骤如下：

1)配置应用程序算例，确定应用程序算例的运行规模为N个MPI进程；

2)分析N进程规模下算例中存在的MPI通信类型；MPI通信类型包括集合通信和点对点通信；

3)对于每一类MPI通信类型形成最优性能优区间I：