[发明专利]一种项目数据和个体数据并行管理的处理方法

说明书

一种项目数据和个体数据并行管理的处理方法，设置线程数目：线程数目的设置有两种方式，一种是直接在“环境”对话框中设置；另一种是修改配置文件。具体设置方式如下：l)单击“文件”按钮，在菜单中选择“选项”，在弹出的“SuperMap iDesktop 8C选项”对话框的“环境”设置页面中，直接设置“并行计算线程数”；建立用于数据分析的Super Map并行计算环境；将各个节点上独立运行的并行进程组织为并行程序。首先向资源管理器申请计算节点，为单个业务分配的所有节点将共同组成业务集；然后选择一个进程作为主进程，其余进程作为分进程。

技术领域

本发明涉及大数据处理与并行计算方法。

背景技术

随着网络服务技术的发展，获取到的数据越量也越来越大，服务领域的数据处理与分析的时间耗费就越大。因此，传统的数据处理技术和串行计算技术难以满足高精细地理大数据处理的需求。SuperMap支持并行计算，有效的提高了大数据处理的效率。

并行计算原理是，并行计算是将一个任务分解成若干个小任务并协同执行以完成求解的过程，是增强复杂问题解决能力和提升性能的有效途径。并行计算可以通过多种途径实现，包括多进程、多线程以及其他多种方式，SuperMap是通过多线程方式实现并行计算的，可充分和更加高效地利用多核计算资源，从而降低单个问题的求解时间，节省成本，也能够满足更大规模或更高精度要求的问题求解需求。经比较发现：串行与并行两种计算方式。当一个任务被划分为A、B、C三个子任务时，串行需要依次执行三个子任务，而多线程并行则可以通过三个线程同时执行三个子任务。

在并行计算支持下，一台普通的四核计算机上某次执行“提取等值线”分析时CPU的使用情况。当使用1个线程分析时，CPU利用率较低，只有一个CPU参与运算，当设置并行线程数为4时，所有四个CPU核心都参与运算，CPU利用率最高可达100％。

当一个生成三维晕渲图的实例，对比多线程并行计算和单线程计算的操作时间。本实例应用的数据为某地区的DEM数据行列数为15000*20000，数据量大小为884M，分别对其进行三维晕渲图操作，使用单线程的SuperMap iDesktop8C进行分析需要80秒，而通过并行计算只需15秒即可完成同样的操作。通过上例可知，同样的数据处理通过并行计算可节省3-5倍的时间，大大的节省了时间成本，提高了分析的性能及工作效率。并行计算与单线程耗时对比：分析的性能提升十倍以上，整体性能提升五倍，并行计算花费的运算时间是单线程15％左右

支持并行计算的功能，目前，SuperMap支持并行计算的功能有：栅格分析、水文分析、网络分析、拓扑预处理、叠加分析、空间查询等。

栅格分析：栅格分析功能模块中支持并行计算的功能有：插值分析、提取等值线、提取等值面、坡度分析、坡向分析、栅格填挖方、面填挖方、反算填挖方、表面面积量算、表面体积量算、查找极值、生成三维晕渲图、生成正射三维影像、单点可视域分析、多点可视域分析、栅格重采样、栅格重分级、栅格聚合等。

叠加分析：对线面叠加分析都支持并行计算，包括线面的裁剪、擦除、合并、相交、同一、对称差、更新。

空间查询：面对象的包含和求交查询支持并行计算。

本发明目的是，提出一种项目数据和个体数据并行管理的处理方法，设置线程数目：线程数目的设置有两种方式，一种是直接在“环境”对话框中设置；另一种是修改配置文件。具体设置方式如下：l)单击“文件”按钮，在菜单中选择“选项”，在弹出的“SuperMapiDesktop 8C选项”对话框的“环境”设置页面中，直接设置“并行计算线程数”即可；

系统配置文件SuperMap.xml中的节点用于指定线程数目，初始值为2。

SuperMap.xml位于组件产品安装目录\Bin文件夹下；设置线程数目为4，则配置文件应修改为：4。