[发明专利]一种海量建筑图斑特征快速计算方法及系统

说明书

本公开提供了一种海量建筑图斑特征快速计算方法及系统，根据集群节点数量和建筑数据及其他数据的数据量将总的计算任务分解为若干个任务，使集群中的每个处理器均能分配到任务；将各个任务按照规模降序排列加入队列，依次分发至集群中空闲的计算节点，直至所有任务分发完毕；各个计算节点接收任务后，将待计算的特征加入子任务队列，依次分配给节点上的空闲处理器进行并行处理，直至子任务分发完毕，执行分配的子任务，计算相应的建筑特征，并按照节点被分配的建筑数据ID的顺序输出建筑图斑特征计算结果到相应的文本文件；对各子任务的计算结果进行合并，得到最终的建筑图斑特征数据。

技术领域

本公开属于海量地理信息数据快速计算领域，涉及一种海量建筑图斑特征快速计算方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

随着信息科学的不断发展，GIS数据也逐渐呈现出海量化、实时化的特点,特别是近年来基础测绘数据、地理省情监测数据已经能够实现每年更新一次的频率，对于其中的爆炸式剧增的矢量数据的处理、分析、挖掘的需求越来越迫切，而地理计算、统计分析等工作对计算机的计算性能、计算效率等方面的要求越来越高。ArcGIS作为目前全球范围内应用性能最高的GIS平台，在地理计算、地统计分析、空间分析等方面集成了多种丰富算法，但是ArcGIS地理处理工具的执行过程采用串行排队的方式，不能充分利用高性能多核计算机的全部运算能力，而传统的串行算法已经不能满足日益增加的海量地理数据的处理需求，导致效率低下，特别对于测绘生产单位来说，直接影响工作进度。目前基于ArcGIS平台提高地理处理运算速度的也有一些研究，但是基本停留在对于硬件设备的改进，或是通过改进某个分析工具原有算法，或是通过Python语言的多进程技术相结合模式，仍然局限于单机处理模式。

为了对区域范围内建筑形态进行研究，进一步丰富山东省地理省情监测统计分析成果，需要对全省范围内约数千万建筑图斑数据上百个特征变量进行计算，传统串行排队计算方式显然不适用，现有的方法效率低，速度慢，严重影响计算进度。

发明内容

本公开为了解决上述问题，提出了一种海量建筑图斑特征快速计算方法及系统，本公开能够有效使用现有软硬件提高计算效率，且兼顾时间。

根据一些实施例，本公开采用如下技术方案：

一种海量建筑图斑特征快速计算方法，包括以下步骤：

根据集群节点数量和建筑数据及其他数据的数据量将总的计算任务分解为若干个任务，使集群中的每个处理器均能分配到任务；

将各个任务按照规模降序排列加入队列，依次分发至集群中空闲的计算节点，直至所有任务分发完毕；

各个计算节点接收任务后，将待计算的特征加入子任务队列，依次分配给节点上的空闲处理器进行并行处理，直至子任务分发完毕，执行分配的子任务，计算相应的建筑特征，并按照节点被分配的建筑数据ID的顺序输出建筑图斑特征计算结果到相应的文本文件；

对各子任务的计算结果进行合并，得到最终的建筑图斑特征数据。

作为可选择的实施方式，总的计算任务分解为若干个任务的具体过程包括：

根据总任务的物理线程数，确定初步分组数；

根据数据涉及的各级行政区划个数选择恰当的行政区划级别，使其在初步确定的分组数范围内；

根据任务分组，对对应的行政区划进行裁剪，生成对应的数据和指令。

作为进一步的限定，第一类任务采用单线程，分组数为1；第二类任务采用单机并行，分组数参考该机器的物理线程数的1到10倍，或采用集群并行，分组数参照节点个数的1到10倍；第三类任务采用集群多线程并行，分组数参照总物理线程数的10到100倍。