[发明专利]一种百亿百GB量级网格数据文件的并行读入方法

说明书

本发明提供了一种百亿百GB量级网格数据文件的并行读入方法，针对多个物体产生的超大规模网格数据文件采用分组文件进行存储，每个分组包括多个文件，每个文件包含多个数据分区；读取时，采用多个文件进程进行文件读取，并发送至相应的非文件进程，进行数据负载均衡调配。采用本发明提出的方法，能够极大的提高网格文件IO效率，在读取同样的超大规模网格数据时，本发明技术方案耗时仅为现有技术耗时的1/50‑1/10。本发明可以极大节约网格数据读入时间，提高计算效率和经济效益。

技术领域

本发明涉及数据处理领域，特别涉及一种百亿百GB量级网格数据文件的并行读入方法。

背景技术

本发明涉及随着计算机技术和数值方法的飞速发展，计算流体力学(ComputationalFluidDynamics,CFD)数值模拟在航空航天等领域已得到越来越广泛的应用。经过几十年的发展，基于雷诺平均NS(ReynoldsAveragedNavier-Stokes,RANS)方程的常规状态气动力/力矩预测已经不存在太大难度，但是在遇到漩涡、分离、转捩、湍流噪声、湍流燃烧等非定常、非线性现象明显的流动时，在千万量级网格上求解RANS方程已经无法得到足够精确的数值解，这时就需要采用更大规模的网格、采用更高保真度的数值方法，如大涡模拟(LargeEddySimulation,LES)和直接数值模拟(DirectNumericalSimulation,DNS)等方法。这些方法的共同特点就是对网格量要求很高，通常认为LES方法在黏性底层内对网格量的需求达到Re^1.8量级，而DNS则要求网格量达到Re^9/4。对于实际飞行器外形，雷诺数Re通常在10⁶量级以上，那么网格量则至少要达到百亿量级以上，才能满足算法对多尺度流动结构的分辨率要求。

在网格规模在千万量级时，所有网格和流场数据均存储在单个文件中，文件大小在1GB量级，这时文件存储和串行读写均不会对计算机文件系统造成太大压力，存储和读写效率仍在可接受的水平。但是当网格量达到百亿量级时，网格文件、流场文件将达到几百GB量级，如果仍将数据存储在单个文件中，采用单个进程进行串行读写，文件读写速度势必会急剧下降，造成CFD计算效率难以接受。

因此，针对百亿量级网格高效存储和IO的实际需求，需要发展新的文件存储和并行IO方法，为未来飞行器的超大规模网格高分辨率数值模拟奠定基础。

发明内容

针对现有技术中存在的问题，提供了一种百亿百GB量级网格数据文件的并行读入方法。

本发明采用的技术方案如下：百亿百GB量级网格数据文件的并行读入方法，针对多个物体产生的超大规模网格数据文件采用分组进行存储，每个分组包括多个文件，每个文件包含多个数据分区；读取时，采用多个文件进程进行文件读取，并发送至相应的非文件进程，进行数据负载均衡调配。

进一步的，具体读取方法：

若进程数大于文件数，取文件进程数等于文件数，每个文件进程读取一个文件，读取之后将网格数据发送到非文件进程，实现负载均衡；

若进程数小于文件数，当文件数是进程数的整数倍时，文件进程数取总进程数，所有进程均读取文件，且每个进程读取的文件数相同；当文件数不为进程数的整数倍时，在满足每个文件进程读取文件数相同的前提下，文件进程的数量不大于总进程数；

进一步的，多个物体产生的网格数据分组存储，每个物体作为一个分组，每组包括多个文件，每个网格数据文件中含有多个网格分区数据。

进一步的，每个网格分区数据中的数据量大致相同。

进一步的，若每个进程上的分区数不同，则对各个进程中的分区数据进行均衡调配。

进一步的，具体均衡调配方法为：通过MPI通信使得每个进程处理同样数量的分区。