[发明专利]顾及负载均衡的全局型栅格空间分析并行方法

说明书

本发明涉及一种顾及负载均衡的全局型栅格空间分析并行方法，属于并行计算技术领域。该方法对栅格数据划分过程提出一种两阶段的数据划分方法；针对栅格分块并行处理和任务并行调度过程分别划分不同的数据粒度；对并行调度过程提出一种抓取式动态任务调度方法，通过实时监控并行节点的处理过程，从忙碌节点中提取未处理数据粒度及时分配给空闲节点；对计算结果融合过程提出一种基于二叉树的结果融合方法，以解决数据划分接缝线引起的计算结果不完整的问题。本发明将栅格分块的有效计算量相等作为数据划分的标准，通过重复迭代计算栅格分块接缝线位置使得划分后各分块计算量大致相当，从而实现负载均衡，提高了并行计算的效率。

技术领域

本发明涉及一种顾及负载均衡的全局型栅格空间分析并行方法，属于并行计算技术领域。

背景技术

全局型栅格数据空间分析的一般计算流程可概括为：根据算法条件在整个栅格图层中搜索全局范围内的栅格单元，从而对满足条件的栅格单元进行运算。常见的该类型空间分析算法包括基于栅格DEM的高程、等高线等数字地形特征提取，栅格数据向矢量数据的转换及其结果的拓扑构建，栅格数据的边界追踪，遥感影像特征信息匹配、分割、提取、分类等计算类型，等等。全局型栅格数据空间分析通常具有以下两个特点：1)参与实际计算的栅格单元数目无法预测；2)参与计算的栅格单元空间分布往往覆盖整个栅格图层，具有较强的空间关联性。全局型栅格数据空间分析算法的以上两个特点对于该类型算法的并行化过程提出了挑战，主要表现在：(1)正因为参与计算的栅格单元无法预测，因此极易造成划分后的栅格分块间的数据倾斜，从而引起负载失衡、降低并行效率；(2)难以将栅格数据划分为计算相互独立的栅格分块，因此需要各栅格分块之间的通讯，使得如何合理地调度并行节点间的通讯十分关键；(3)对栅格数据的划分将不可避免地造成各栅格分块接缝线边界的目标对象的割裂，从而需要合适的计算结果融合过程，以保证计算结果的完整性与正确性。

为了实现算法的有效并行化，首先需要对源栅格数据进行划分，良好的数据划分策略可以有效提高算法执行效率、实现并行计算过程中的负载均衡。目前常用的栅格数据划分方法主要为规则划分，包括行划分、列划分和格网划分、四叉树划分等。这些数据划分方法的优点在于划分后的栅格分块之间空间上相邻，有利于全局型空间分析；但其缺点是主要从空间范围上进行划分，并未从栅格计算中的实际有效计算量进行划分、容易导致数据倾斜，从而忽略了并行化过程中的负载均衡，不能有效提高并行效率。因此，根据算法特征、按照空间分析中有效计算量进行数据划分，以保证并行化过程中的负载均衡显得十分必要。然而，初始的数据划分只能保证计算量的大致均衡，而无法保证各分块计算量的精确平衡，各节点仍会出现处理时间不一致的现象，计算量小的节点在任务完成后往往处于空闲状态，这往往浪费了有效计算资源。因此，合理的数据划分方法、并行调度方法及结果融合方法成为全局型栅格数据空间分析并行化过程中需要解决的关键问题。

发明内容

本发明要解决技术问题是：提供一种能够提高全局型栅格数据空间分析的并行效率的计算方法。

为了解决上述技术问题，本发明提出的技术方案是：一种顾及负载均衡的全局型栅格空间分析并行方法，包括以下步骤：

步骤一、并行环境初始化，接收并行参数，所述并行参数包括并行进程数p、数据划分最大迭代次数n、迭代中划分线移动距离d和栅格分块间有效计算量相差阈值比例s；

步骤二、主进程读取源栅格数据，并将源栅格数据划分成p-1个栅格分块，划分方法如下：

步骤S201：确定栅格分块数t＝p-1；

步骤S202：统计栅格数据中所有的有效栅格单元个数N_t，将整个栅格数据作为待划分区域；

步骤S203：若t＝1则停止迭代计算；