[发明专利]一种基于分布式内存的并行数字地形分析优化方法

说明书

技术领域

本发明属于数字地形分析和并行计算的交叉技术领域，涉及基于数据密集型的并行计算数据拆分的优化方法，给出一种基于分布式内存并行计算模式下面向并行数字地形分析的机群最优的参数选取方法。

背景技术

数字地形分析(Digital Terrain Analysis，简称DTA)是在数字高程模型(Digital Elevation Model，简称DEM)的基础上进行地形属性计算和特征提取的数字信息处理技术。数字高程模型DEM是用一组有序数值阵列形式表示地面高程的一种实体地面模型，是数字地形模型(Digital Terrain Model，简称DTM)的一个分支，其它各种地形特征值均可由此派生。并行数字地形分析是使用并行计算的技术来解决数字地形分析中的海量数据量的高效处理问题。随着各种新型传感器以及测量技术的出现，DEM数据呈级数增长，从而导致单机环境下对大规模的数据进行处理是一件十分困难的事情。因此使用并行计算技术可以有效地解决单处理器的计算瓶颈问题以及提高数据处理的效率。目前并行数字地形分析的研究热点主要集中在DEM数据构建的并行化以及数字地形分析算法并行化，其中基于数据密集型并行计算的策略研究还处在定性分析阶段，而对于数据密集型并行计算策略的建模分析以及量化研究尚未有所涉及。

数据密集型并行计算的策略主要是指对海量数据进行拆分，然后分发到各个计算节点进行并行计算，从而提高计算效率。数据拆分是实现并行数字地形分析的主要策略之一。目前，关于数据拆分的研究主要集中在采用何种数据管理策略来提高并行计算的效率以及相关的存储策略来降低DEM数据的存储空间。这些研究方法不仅缺乏对拆分数据的大小以及拆分数据之间的依赖关系等量化问题的研究，而且没有考虑数据拆分与数据及任务调度方式、并行计算的机群环境，因而难以给出定量化的数据拆分优化方法。

发明内容

本发明针对上述问题，针对点集均匀分布的规则格网DEM，提出了一种基于分布内存并行计算环境下可量化的数据拆分优化方法和并行计算集群节点最优参数选择。

本发明的一种基于分布式内存的并行数字地形分析优化方法，包括：

一种基于分布式内存的并行数字地形分析优化方法，其特征在于，所述方法包括：

(一)确定面向并行数字地形分析的数据分发粒度和结果融合粒度的大小，其中，数据分发粒度DDG是指任务的计算时间与该任务需要的数据分发时间的比值，可以表示为：

T_c为任务的计算时间，T_d为数据的分发时间，包括数据从外部存储器读取的I/O时间；

结果融合粒度RFG是指计算结果的回收与融合时间与数据的分发时间的比值，可以表示为：

T_r为计算结果的回收与融合时间，也包括数据写入外部存储器的I/O时间；

数据分发粒度DDG和结果融合粒度RFG的具体计算过程如下：

步骤11，选取一个大小为Q的基本数据块，然后根据算法设计程序，并运行，分别测得Q_h＝h*Q的数据分发时间，h为整数且h＝1,2,…10,计算时间和结果回收时间；

步骤12，根据公式(1)和(2)的定义，分别计算得到DDG_h和RFG_h的值，然后分别计算数据分发粒度的平均值和结果融合粒度的平均值即，

(二)分布式内存并行计算模式下，基于分布式内存的数据顺序分发和调度策略：数据分发和任务计算同时进行，考虑计算节点或进程启动与关闭开销，计算数据拆分的数据块最优数目和块大小；基于数据块最优数目，对集群节点配置参数进行优化选择；具体过程包括：

步骤21，确定最优的数据块数目和大小：已知待计算的数据大小W，数据分发速度V,进程启动延迟开销δ，以及由上一步得到的数据分发粒度的平均值和结果融合粒度的平均值根据下面公式计算得到最优的数据块数目K：

步骤22，根据数据大小W和拆分的数据块数目K得到单个数据块的大小P：

步骤23，由下式得到总的计算时间为：

步骤24，确定并行计算集群的参数，即节点数目或核总数N，最佳的并行计算集群的节点数目或核总数应为最优的数据块数目K，即一个轮次全部计算完毕。

本发明的技术特点及有益效果：