[发明专利]基于网格的空间数据分布式存储及检索方法和系统

权利要求书

1.一种基于网格的空间数据分布式存储及检索方法，其特征在于，包括：

数据分块步骤，以网格形式将数据划分为数据块，将数据块存储于节点的内存中，其中，每个数据块包括数据块ID，Hash值，时间戳；

数据查询步骤，计算待检索空间坐标对应的Hash值并判断其所属网格的网格号，根据网格号查询元数据表以获得节点号，根据节点号、网格号和Hash值在存储集群中进行检索；

其中，所述数据分块步骤中，

将数据块划分为分区，每个分区储存在一个节点上，每个分区包括2ⁿ个数据块，n≧1；

在向节点分发数据块时采用冗余分区，两个相邻的分区有若干行和/或若干列重复的数据块，分区完成后按照分区的创建顺序依次将分区分配至对应节点中，基于分区结果构造元数据表，描述每个数据块所在的分区和所在的节点；

当一个数据块具有存在于多个分区的副本时，所有分区中的副本使用相同的数据块编号，并在元数据表中记录其每个副本的信息。

2.根据权利要求1所述的一种基于网格的空间数据分布式存储及检索方法，其特征在于，所述数据分块步骤中，采用GeoHash函数来生成HASH值，基于以下步骤生成GeoHash索引：

区间递归子步骤，已知空间坐标(x,y),其中x是纬度，y是经度；首先分别按照区间递归等分的方法进行0-1编码直到编码位数对应的空间划分粒度符合精度要求，得到二进制串bX，bY；

合并拆分子步骤，对bX和bY按照奇偶位数进行合并，bX拆分后作为新二进制串的奇数位，bY拆分后作为新二进制串的偶数位，从而得到新二进制串b；

哈希生成子步骤，令字符串h＝base32(b)，字符串h即为空间坐标(x,y)的Geohash值。

3.根据权利要求1所述的一种基于网格的空间数据分布式存储及检索方法，其特征在于，所述数据分块步骤中，按照网格划分空间，每个网格对应一个数据块；数据的索引采用数据块编号+Geohash值的形式表示；数据的索引存储在数据索引数据表中。

4.根据权利要求1所述的一种基于网格的空间数据分布式存储及检索方法，其特征在于，

所述数据查询步骤中，通过计算出检索目标点的Geohash值作为待检索HASH值，从数据索引表中检索与待检索HASH值最接近的Geohash值所对应的网格号和/或数据块号；然后通过该网格号和/或数据块号从元数据表中检索到其对应的分区和对应的节点。

5.根据权利要求1所述的一种基于网格的空间数据分布式存储及检索方法，其特征在于，所述数据查询步骤中，

在查询时检索函数如果从元数据表中检索到该数据块具有多个副本，则同时执行多次检索；然后从检索到的多个数据块中选择时间戳与检索发生时间最接近的数据块作为检索结果，同时对其他副本进行更新，实现冗余数据块的同步。

6.一种基于网格的空间数据分布式存储及检索系统，其特征在于，包括：

数据分块模块，以网格形式将数据划分为数据块，将数据块存储于节点的内存中，其中，每个数据块包括数据块ID，Hash值，时间戳；

数据查询模块，计算待检索空间坐标对应的Hash值并判断其所属网格的网格号，根据网格号查询元数据表以获得节点号，根据节点号、网格号和Hash值在存储集群中进行检索；

所述数据分块模块中，将数据块划分为分区，每个分区储存在一个节点上，每个分区包括2ⁿ个数据块，n≧1；

在向节点分发数据块时采用冗余分区，两个相邻的分区有若干行和/或若干列重复的数据块，分区完成后按照分区的创建顺序依次将分区分配至对应节点中，基于分区结果构造元数据表，描述每个数据块所在的分区和所在的节点；

当一个数据块具有存在于多个分区的副本时，所有分区中的副本使用相同的数据块编号，并在元数据表中记录其每个副本的信息。