[发明专利]一种安全快速的大规模并行计算输入输出实现方法

说明书

本发明公开一种安全快速的大规模并行计算输入输出实现方法，该方法建立双备份安全目录机制；采用断点文件的分层目录结构管理；根据底层网络带宽和计算节点主核数选择输出因子。本发明解决了超大规模断点文件的安全性问题，解决了超大规模断点文件的高效输出输入问题，是一种安全可靠、效率高的写断点文件方法，解决CFD领域大规模安全可靠的并行计算问题。

技术领域

本发明涉及超大规模并行计算领域，尤其涉及一种安全快速的大规模并行计算输入输出实现方法。

背景技术

目前，流体力学(Computational Fluid Dynamics，CFD)领域的超大规模并行计算具有进程数上万、迭代步数几万步、写断点文件时间长等特点，写断点文件方法存在安全性差，效率低的问题。描述各流域气体分子输运现象的气体分子运动论的基本方程—Boltzmann方程，可用于描述航天飞行器到微不可见的同位素分离等许多领域，它是研究包括各种微尺度流动在内的气体动力学问题的一个主要根据。基于Boltzmann模型方程的气体运动论数值计算方法，内存量大，计算时间长。分布函数是一个六维或七维的数组，所有的计算基于分布函数，各种宏观量如温度、压力、密度等的输出也依赖于分布函数，所以一旦分布函数数据被破坏将造成不可挽回的损失。Boltzmann模型方程的数值计算方法目前采取的写断点文件方法为：创建一个目录，将所有进程对应的断点文件都写在这个目录下。但是该方法的缺点是:一、安全性差；二、受文件系统底层管理限制，目录列表非常慢；三、没有考虑计算结点网络状况，输入输出效率低。其中，断点文件是指：超大规模并行计算一般时间都较长，为了能进行长时间计算，计算过程中的一些数据需以文件形式保留保存，以防计算过程中出现故障；一旦作业停止，需重新读取这些文件中的数据，恢复计算。

发明内容

本发明的目的在于通过一种安全快速的大规模并行计算输入输出实现方法，来解决以上背景技术部分提到的问题。

为达此目的，本发明采用以下技术方案：

一种安全快速的大规模并行计算输入输出实现方法，该方法包括：一、建立双备份安全目录机制；二、采用断点文件的分层目录结构管理。

特别地，所述建立双备份安全目录机制，具体包括：建立两个断点文件目录，迭代过程中两个断点文件目录交叉轮流写数据。

特别地，所述采用断点文件的分层目录结构管理，具体包括：以1024为单位将断点文件分类，总目录数为：Num＝(总进程数-1)/1024+1。

特别地，所述安全快速的大规模并行计算输入输出实现方法还包括：根据包括但不限于输出数据总量、代理服务节点的网络带宽能力、计算节点网络带宽能力选择输出因子。

本发明提出的安全快速的大规模并行计算输入输出实现方法解决了超大规模断点文件的安全性问题，解决了超大规模断点文件的高效输出输入问题，是一种安全可靠、效率高的写断点文件方法，解决CFD领域大规模安全可靠的并行计算问题。

附图说明

图1为本发明实施案例供的安全快速的大规模并行计算输入输出实现方法原理示意图；

图2为本发明实施案例供的restart0分层目录示意图。

具体实施方式

下面结合附图和实施案例对本发明作进一步说明。可以理解的是，此处所描述的具体实施案例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容，除非另有定义，本文所使用的所有技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述具体的实施案例，不是旨在于限制本发明。

请参照图1所示，图1为本发明实施案例供的安全快速的大规模并行计算输入输出实现方法原理示意图。