[发明专利]一种基于Spark大数据的多图层矢量数据叠加方法

说明书

本发明提供一种基于Spark大数据的多图层矢量数据叠加方法，所述方法为对每一个图层经过四叉树编码，选择其中最优的四叉树作为所有图层的标准四叉树，并以该四叉树对图层进行切割，将切割后的图层分布到Spark的执行器上进行叠加计算，最后将图形进行融合。与现有技术比较，本发明方法通过使用Spark的分布式计算的特点，结合四叉树来优化Spark的分布方式，能够高效的对多图层矢量数据进行叠加。

技术领域

本发明涉及矢量数据叠加计算领域，更具体的，涉及一种基于Spark大数据的多图层矢量数据叠加方法。

背景技术

随着人们对土地资源的不断重视，以及矢量数据的处理与分析的发展，矢量数据的处理变得越来越重要，并且需要处理的数据量变得越来越多，出现多图层的矢量数据的叠加处理。对于多个大数据量的图层进行分析，根据矢量数据的数据量，往往需要很长时间的分析处理才能获得结果，无法实现多图层矢量数据的高效叠加分析。传统的海量矢量数据叠加分析，通常是以ArcGis作为工具对矢量数据进行叠加分析，但是ArcGis是基于单个计算机进行数据叠加分析，以单计算机的算力无法高效的进行数据叠加分析。

基于这种需求，可以利用Spark的高性能、可扩展的计算能力，来对海量多图层矢量数据进行分析，公开号为CN111563081A的发明专利申请公开了一种矢量要素并行计算方法、装置、存储介质及终端，方法包括：根据Spark计算框架构建分布式要素数据集模型；根据分布式要素数据集模型对外部数据进行数据读取；根据读取后的数据进行数据重分区；将四叉树索引和二叉树索引结合对重分区后的数据创建本地空间索引；对创建本地空间索引后的数据进行数据处理和分析。基于Spark模块的扩展开发可以允许用户自由组合各种接口，该分布式要素数据集模型的处理和分析接口可以包括过滤、获取地理和时间范围、裁剪、空间查询、属性汇总、网格叠加、多边形叠加、提取列、追加列等。

上述专利虽然公开了可以基于Spark来对海量的矢量数据进行数据处理和分析，但是没有公开如何对多图层的矢量数据进行叠加，并且，对于矢量数据的处理方式没有详细进行公开。

发明内容

本发明旨在克服上述现有技术的至少一种缺陷，提供一种基于Spark大数据的多图层矢量数据叠加方法，用于解决海量多图层矢量数据叠加分析计算问题。

本发明采取的技术方案为：

本发明提供一种基于Spark大数据的多图层矢量数据叠加方法，所述方法包括：

S1：将待处理的多图层矢量图形进行图层合并，在Spark中生成的分布式数据集RDD1；

S2：建立最小包含矩形z，所述最小包含矩形z为包含所有RDD1矢量图形的矩形图层；

S3：遍历RDD1中所有图层，为每个图层根据以最小包含矩形z为边界生成一个最短四叉树，记录其编码最大长度len；

S4：选出S3中最大长度len中图层出现最多的长度，将该长度作为标准四叉树编码长度len1；

S5：根据标准四叉树编码长度len1对最小包含矩形z进行分割，生成网格结构，以四叉树编码为索引值生成RDD2；

S6：对RDD2中的数据进行重分区，将Spark分区中的数据进行重新分配并生成RDD3；

S7：将RDD3中的矢量图形的四叉树编码进行反编译，获取矢量图形的网格在矢量图形的具体位置并将网格裁切，以网格中的数据生成RDD4；

S8：将RDD4中的矢量图形根据四叉树编码的网格区域数据进行叠加，然后将数据拆解拆解，将拆解后的数据生成RDD5；

S9：将RDD5中的矢量图层数据进行融合，将融合后的数据生成RDD6。