[发明专利]一种基于二维地理位置信息的数据集分片方法

权利要求书

1.一种基于二维地理位置信息的数据集分片方法，所述的数据集中每条数据均含有关于经度和纬度的二维地理位置信息，所述的数据集分片方法包括如下步骤：

(1)将数据集中每条数据的二维地理位置信息转换为二进制的GeoHash值；

(2)根据所述的GeoHash值对数据集进行分片且每个片中的数据具有公共的GeoHash前缀，并在分片过程中建立并更新片的索引树；其中对数据集进行分片的具体过程如下：

初始时，新建一个片作为父片，将数据集中所有数据放入父片中，且令父片的公共GeoHash前缀为null；此时，若父片的大小未超过预设的上限值M，则分片结束；若父片的大小超过上限值M，则对父片进行分裂：

将父片分成两个子片A₀和A₁，令子片A₀的公共GeoHash前缀为0，子片A₁的公共GeoHash前缀为1；进而根据二进制GeoHash值的首位编码，将父片中的所有数据分配至子片A₀和A₁中，即GeoHash值首位编码为0的数据分配至子片A₀中，GeoHash值首位编码为1的数据分配至子片A₁中；分配完毕后，判断子片A₀和A₁的大小是否超过上限值M：若均未超过，则分片结束；若子片A_i的大小超过上限值M，则使子片A_i作为父片并对其进行分裂：

将父片A_i分成两个子片A_i0和A_i1，i为0或1，令子片A_i0的公共GeoHash前缀为i0，子片A_i1的公共GeoHash前缀为i1；进而根据二进制GeoHash值的第二位编码，将父片A_i中的所有数据分配至子片A_i0和A_i1中，即GeoHash值第二位编码为0的数据分配至子片A_i0中，GeoHash值第二位编码为1的数据分配至子片A_i1中；分配完毕后，进而判断子片A_i0和A_i1的大小是否超过上限值M，若仍存在大小超过上限值M的子片，则根据以上操作继续对该子片进行分裂，直至所有子片大小都在上限值M以下，则分片结束；

(3)当数据集有新增数据时，从所述的索引树中查找出与该新增数据具有最长公共GeoHash前缀的片，并将该新增数据插入该片中；若插入新增数据后，该片的大小超过预设的上限值，则对该片进行分裂并更新索引树。

2.根据权利要求1所述的数据集分片方法，其特征在于：所述的步骤(2)中通过以下方法建立并更新片的索引树：

分片过程中当初始新建一个片作为父片时，则为该父片对应新建一个索引节点并使该节点作为索引树的根节点，并使该索引节点的片地址对应为该父片在服务器中的存储地址，左孩子节点地址和右孩子节点地址均为null；

在对任一父片进行分裂后，为分裂得到的且不为空的子片对应新建一个索引节点，并令该索引节点的片地址对应为子片在服务器中的存储地址，左孩子节点地址和右孩子节点地址均为null；同时将父片对应索引节点的片地址置为null，左孩子节点地址指向父片分裂得到的且公共GeoHash前缀尾号为0的子片对应的索引节点在服务器中的存储地址，右孩子节点地址指向父片分裂得到的且公共GeoHash前缀尾号为1的子片对应的索引节点在服务器中的存储地址；

所述的索引节点均包含有三个地址：左孩子节点地址、片地址、右孩子节点地址。

3.根据权利要求2所述的数据集分片方法，其特征在于：所述的步骤(3)中通过以下方法从索引树中查找出与新增数据具有最长公共GeoHash前缀的片，并将该新增数据插入该片中：

从索引树的根节点开始，判断新增数据GeoHash值的首位编码：若首位编码为0，则根据根节点的左孩子节点地址查找到下一索引节点并作为当前节点；若首位编码为1，则根据根节点的右孩子节点地址查找到下一索引节点并作为当前节点；

判断当前节点是否为索引树的叶子节点：若是，则根据当前节点的片地址查找到对应的片，作为与新增数据具有最长公共GeoHash前缀的片，并将该新增数据插入该片中；若否，则判断新增数据GeoHash值的下一位编码：若下一位编码为0，则根据当前节点的左孩子节点地址查找到下一索引节点并使其作为当前节点；若首位编码为1，则根据当前节点的右孩子节点地址查找到下一索引节点并使其作为当前节点；

依此往下搜索直至判断出当前节点为索引树的叶子节点，则根据当前节点的片地址查找到对应的片，作为与新增数据具有最长公共GeoHash前缀的片，并将该新增数据插入该片中。