[发明专利]一种百亿百GB量级网格数据文件的并行读入方法

权利要求书

1.一种百亿百GB量级网格数据文件的并行读入方法，其特征在于，针对多个物体产生的超大规模网格数据采用分组文件进行存储，每个分组包括多个文件，每个文件包含多个数据分区；读取时，采用多个文件进程进行文件读取，并发送至相应的非文件进程，进行数据负载均衡调配。

2.根据权利要求1所述的百亿百GB量级网格数据文件的并行读入方法，其特征在于，具体读取方法：

若进程数大于文件数，取文件进程数等于文件数，每个文件进程读取一个文件，读取之后将网格数据发送到非文件进程，实现负载均衡；

若进程数小于文件数，当文件数是进程数的整数倍时，文件进程数取总进程数，所有进程均读取文件，且每个进程读取的文件数相同；当文件数不为进程数的整数倍时，在满足每个文件进程读取文件数相同的前提下，文件进程的数量不大于总进程数。

3.根据权利要求2所述的百亿百GB量级网格数据文件的并行读入方法，其特征在于，多个物体产生的网格数据分组存储，每个物体作为一个分组，每组包括多个文件，每个网格数据文件中含有多个网格分区数据。

4.根据权利要求3所述的百亿百GB量级网格数据文件的并行读入方法，其特征在于，每个网格分区数据中的数据量大致相同。

5.根据权利要求3或4所述的百亿百GB量级网格数据文件的并行读入方法，其特征在于，若每个进程上分区数相同，则无需进行分区数据调配，若每个进程上分区数不同，则对各个进程中的分区数据进行负载均衡调配。

6.根据权利要求5所述的百亿百GB量级网格数据文件的并行读入方法，其特征在于，具体均衡调配方法为：通过MPI通信使得每个进程处理同样数量的网格分区数据。