[发明专利]基于网格的空间数据分布式存储及检索方法和系统

说明书

本发明涉及一种存储及检索方法和系统，属于空间数据处理领域，具体是涉及一种基于网格的空间数据分布式存储及检索方法和系统。包括：数据分块步骤，以网格形式将数据划分为数据块，将数据块存储于节点的内存中，其中，每个数据块包括数据块ID，Hash值，时间戳；数据查询步骤，计算待检索空间坐标对应的Hash值并判断其所属网格的网格号，根据网格号查询元数据表以获得节点号，根据节点号、网格号和Hash值在存储集群中进行检索。该方法和系统提出了新的数据存储、组织和索引形式，可以有效的提升分布式集群环境下的地理信息检索效率。

技术领域

本发明涉及一种存储及检索方法和系统，属于空间数据处理领域，具体是涉及一种基于网格的空间数据分布式存储及检索方法和系统。

背景技术

随着测绘遥感技术的发展，空间数据不仅在数据规模上日益增长，而且在数据精度上也日趋精确，还在数据实时性上有大幅度提升。特别是近年来，在互联网/移动互联网行业以LBS/SNS为核心的空间数据相关应用需求驱动下，空间大数据分布式存储、计算技术得到了广泛的应用。空间大数据具有数据量大、数据关联性强、数据块之间解耦困难等特性，这些特性对其存储、索引与检索提出了特殊的要求。

现有空间数据存储计算技术主要基于传统分布式文件系统技术或分布式关系数据库集群技术：前者仅采用路径名/文件名来索引数据，未构建空间索引；后者检索过程难以实现去中心化，且空间索引的改写/更新过程难以实现真正的并行化。上述技术限制一定程度上制约了空间大数据的应用和发展。

在一些行业应用场景中，通过引入互联网行业普遍采用的NoSQL存储技术，一定程度上实现了空间大数据的高效率分布式查询。这些技术以类似日志数据的形式存储空间数据，并在分布式环境下通过采用逐条遍历的方式实现查询、更新等操作。这样虽然一定程度上提升了空间大数据应用的效率，但由于其后端依然依赖于分布式文件存储，因此对于一部分应用场景特别是涉及空间数据写入/更新的操作，存在一定的延迟，难以满足实时化/准实时化应用的需求。

在一些对实时性要求较高的空间大数据应用场景中，普遍采用缓存机制提升应用的实时性，如图1所示。

在分布式空间数据库集群与用户之间增加缓存服务器，该服务器首先根据用户请求将特定的数据块从空间数据库集群中取出，返回给用户的同时将该数据块存入缓存数据中；当下一次接收到用户请求后，首先与缓存数据中存储的数据块进行比对，如果该请求要求的数据块与缓存中存在的数据块一致或该请求要求的数据块被缓存中的数据块所包含(缓存命中)则直接将缓存的数据块返回给用户，否则需要从空间数据库集群中取出用户所需的数据块并返回给用户(缓存不命中)，同时将该数据块存入缓存。如果此时缓存已满则使用某种策略(LRU、FIFO等)从缓存中选择一块数据进行替换。

应用缓存机制一定程度上能够提升分布式空间数据库的响应速度。然而，由于空间数据的强关联性，应用传统的文件缓冲策略容易造成缓存不命中的问题，甚至在特定场景下由于不同数据块边界处的频繁访问引发抖动现象，最终造成间歇性的系统实时性大幅度下降。

现有空间数据分布式存储技术本质上是将数据分块之后存储在每个节点的磁盘上，因此其访问速度受到磁盘I/O速率的限制。当同一节点上的数据被高频率访问时，该节点磁盘I/O压力较大，会引起数据访问的响应度大幅度下降。

现有分布式存储技术通常对数据的存储进行多次抽象，并对应用程序隐藏这种抽象机制，如图2所示。应用程序能够访问上层的虚拟文件系统以及其中的虚拟文件，却无法直接访问特定文件对应的数据块或存储特定数据块的存储节点，即数据的物理存储形式对应用来说是完全透明的。在空间大数据的应用中，该模式可能会造成空间关联较强的两个文件(或者是同一文件中空间关联较强的两个数据块)实际上被存储在不同的存储节点上。当应用需要访问这部分空间对应的数据时，可能造成对多个物理存储节点的频繁访问，从而降低访问效率。

发明内容