[发明专利]一种基于二维地理位置信息的数据集分片方法

说明书

技术领域

本发明属于数据存储技术领域，具体涉及一种基于二维地理位置信息的数据集分片方法。

背景技术

在大数据时代，当数据量达到兆级别时，单个内存或磁盘存储不下。在这种情况下，需要将数据集以分布式的方式进行存储。当进行分布式存储时，需要对数据集进行分片，从而方便以片为单位对数据进行组织、管理、迁移等操作。当前热门的NOSQL数据库MongoDB在进行分布式存储时，正是先对数据集进行分片，然后在多个服务器上对片进行管理。

我们在数据库设计时，通常把一个较大的全局数据库按其数据项(即字段)或按某关键字的某些特征来进行划分，在这里我们称之为数据分片，划分出的各个片段组成一个个较小的局部数据库。

在进行数据分片时并不是盲目地对数据库进行划分。为了达到分片的目的，我们分片时必须遵循以下三个准则；数据分片的类型一般可分为水平分片、垂直分片、混合分片三类。

(1)完备性准则；必须把全局数据库的所有数据都映射到各个局部数据库中，即绝不允许发生一个属于全局关系的数据项目而不属于任一个局部数据库的情况。

(2)重构准则；划分所采用的方法必须确保能够由全局关系的各个局部数据库来重建全局数据库。

(3)不相交准则；对于水平划分,要求一个全局关系被划分后所得的各个数据片段互相不重叠，垂直划可放宽此限制。

当前已有的分片方案中，一般是选择一个一维的属性作为片键，比如数据的ID，然后对这一维属性根据线性范围直接划分为不同的片，这些分片方式不 能保证同一个片上的数据在地理上是相近的，或者即使利用了GeoHash来分片，也只是将GeoHash作为一个普通的一维属性，然后根据GeoHash的范围进行划分，没有很好的利用GeoHash的特性，不能很好的保证片上数据在地理位置上是相邻的。

GeoHash是一种对地图上的点进行编码的方法，它逐步的对地图划分为一个个网格，并按照点所在的网格来标识点；它将点的二维经纬度信息转化成一个一维的串，并且在大部分情况下，两个串的公共前缀越长，他们在地理上就越接近，而且，串的长度越长，精度也就越高。

发明内容

针对现有技术所存在的上述技术问题，本发明提供了一种基于二维地理位置信息的数据集分片方法，能够保证地理上相邻的数据尽量分布在相同的片上。

一种基于二维地理位置信息的数据集分片方法，所述的数据集中每条数据均含有关于经度和纬度的二维地理位置信息，所述的数据集分片方法包括如下步骤：

(1)将数据集中每条数据的二维地理位置信息转换为二进制的GeoHash值；

(2)根据所述的GeoHash值对数据集进行分片且每个片中的数据具有公共的GeoHash前缀，并在分片过程中建立并更新片的索引树；

(3)当数据集有新增数据时，从所述的索引树中查找出与该新增数据具有最长公共GeoHash前缀的片，并将该新增数据插入该片中；若插入新增数据后，该片的大小超过预设的上限值，则对该片进行分裂并更新索引树。

所述的步骤(2)中对数据集进行分片的过程如下：

初始时，新建一个片作为父片，将数据集中所有数据放入父片中，且令父片的公共GeoHash前缀为null；此时，若父片的大小未超过预设的上限值M，则分片结束；若父片的大小超过上限值M，则对父片进行分裂：

将父片分成两个子片A₀和A₁，令子片A₀的公共GeoHash前缀为0，子片A₁的公共GeoHash前缀为1；进而根据二进制GeoHash值的首位编码，将父片 中的所有数据分配至子片A₀和A₁中，即GeoHash值首位编码为0的数据分配至子片A₀中，GeoHash值首位编码为1的数据分配至子片A₁中；分配完毕后，判断子片A₀和A₁的大小是否超过上限值M：若均未超过，则分片结束；若子片A_i的大小超过上限值M，则使子片A_i作为父片并对其进行分裂：