[发明专利]一种云环境下的空间数据划分方法

说明书

技术领域

本发明涉及一种云环境下的空间数据划分方法，属于计算机网络技术领域。

背景技术

云计算是一种分布式系统能将计算任务分给多台机器来处理，能对各种应用系统提供计算力、存储空间和信息服务。现在google公司和开源云计算平台hadoop等都使用map-reduce并行计算模型。该模型为海量数据的处理提供了一个通用、高效的技术框架，从而在地理空间数据查询处理、数据挖掘等领域得到了越来越广泛的应用。

当今，提高地理空间数据索引效率是个热点问题，如何找到一种有效的方法在云平台上建立索引机制具有重要的意义。R树是个高度平衡树，用空间对象的MBR（最小外接矩形）来近似表示空间数据对象，根据对象的MBR建立R树，并可以直接对空间中占据一定范围的空间数据对象进行索引。如何找到一种算法划分空间数据对象使得R树满足空间数据对象划分的准则（数据量平衡准则、空间关系平衡准则），有效地提高空间数据的索引效率。已有的并行空间数据库中的分配方法不适合云计算平台，且大都是按空间区域平均划分，这样很难满足空间数据对象划分的准则。

Ariel Cary等人提出了用Z曲线编码空间数据对象，然后根据map节点的数目，按空间数据量平均划分，把得到的每个部分交给map-reduce处理得到R树，这种方法不满足空间关系平衡原则，即划分不能保证空间相邻的对象在R树的同一分支上，以致索引效率降低。

Shubin zhang等人提出了基于空间填充曲线的划分和轮转法结合的划分方法，但这种方法既不满足空间关系平衡原则，也不满足数据平衡准则，这种方法划分的结果在map-reduce上建立的R树的索引效率非常低

贾婷等人提出一种k均值聚类算法的空间数据划分方法，把空间数据划分的结果分配给不同的计算节点。这种方法不满足数据量平衡原则，k均值聚类算法只能保证空间相邻的对象在同一族，但不能保证每个族的大小相对平衡。

刘润涛等人提出用k均值聚类算法建立R树，只是简单地考虑了空间数据对象的相邻关系，并没有考虑数据量平衡原则，这样会使R树的部分分支索引过于频繁，而且没有提出用map-reduce模型来构建R树，只是简单地并行构建R树，导致效率不高。

发明内容

本发明所要解决的技术问题在于克服现有技术的不足，提供一种云环境下的空间数据划分方法，能够同时满足空间数据对象划分的数据量平衡准则和空间关系平衡准则，且计算复杂度低，算法实时性好。

本发明具体采用以下技术方案解决上述技术问题：

一种云环境下的空间数据划分方法，包括以下步骤：

步骤1、将空间数据库中的各空间数据对象用其最小外接矩形的中心点坐标表示；

步骤2、利用Hilbert曲线编码方法将空间数据库中的空间数据对象映射为一维有序数组，并依序将一维有序数组中的元素平均划分为k个类，k为所述云环境中存储节点的数量；

步骤3、计算一维有序数组中每个元素与k个类中心的欧氏距离，对于任意一个元素，如其与当前所属类的中心的距离非最小，且当前所属类中的元素个数大于一预设的阈值，则将该元素划入距离最近的类中心所在类中；所述阈值小于或等于                                               ，n为所述一维有序数组中的元素个数；

步骤4、更新k个类中心；

步骤5、重复执行步骤4、步骤5，直到满足预设的迭代停止条件；

步骤6、按照最终的划分结果对空间数据对象进行划分。

本发明方法首先利用Hilbert曲线编码方法将空间数据对象进行平均划分，然后在此基础上利用改进的k-均值聚类算法将空间相邻的数据对象尽可能地划分在同一类中。本发明综合了现有均值法和k均值聚类算法各自的优点，很好满足了空间数据划分的准则，能均衡的将地理空间数据分配给map-reduce进行处理建立R树，从而提高地理空间数据索引效率，且本发明方法计算复杂度低，算法实时性好。

附图说明