[发明专利]一种对具有时间空间多维属性的地理信息数据的存储和查询方法

说明书

本发明公开了一种对具有时间空间等多维属性的地理信息数据的存储和查询方法，该方法的操作步骤如下：步骤一：数据分区模块计算时间分区和空间分区的值；步骤二：数据缓存模块将数据按照时间分区和空间分区对数据进行临时缓存；步骤三：数据存储模块将该分区数据序列化及压缩后存入到Cassandra；步骤四：数据查询模块计算时间分区和空间分区的值取得查询结果。本发明提供的方法具有普适性，适用于所有时间空间等多维属性的地理信息数据的存储查询，满足海量数据的存储需求，同时检索效率不会随数据量的增加而降低；通过建立时间及空间分区来缩小检索范围，提高检索效率；使用特殊的空间分区实现空间检索的功能。

技术领域

本发明涉及地理信息数据的存储和查询技术领域，具体为一种对具有时间空间多维属性的地理信息数据的存储和查询方法。

背景技术

目前，对于地理信息数据的存储和检索(包括空间检索)，主要分为两类：一是单机存储，将数据存到postgresql中，使用postgis对数据进行空间及时间序列检索；二是分布式存储，将数据按一定的格式进行组织，存储到hbase中，实现海量地理信息数据的查询。

以上两种方式都或多或少的存在一定的局限性，第一种方式仅仅适用于单机千万级数据的存储查询，对于百亿千亿级的数据无能为力；第二种分布式数据存储方式，弥补了第一种方式数据存储量级的局限性，然而却无法满足空间检索的需求。对于地理信息数据的使用者来说，既能满足大数据量的数据存储又能实现快速的时间及空间检索的方法是十分必要的。

发明内容

本发明的目的在于提供一种对具有时间空间多维属性的地理信息数据的存储和查询方法，以解决现有的技术缺陷和不能达到的技术要求。

为实现上述目的，本发明提供如下技术方案：一种对具有时间空间多维属性的地理信息数据的存储和查询方法，该方法具体包括数据分区模块、数据缓存模块、数据存储模块、数据查询模块、时间分区、空间分区、空间二级分区、数据时间和数据变量；该方法的操作步骤如下：步骤一：数据分区模块根据每一条数据的时间及经纬度计算时间分区和空间分区的值；步骤二：数据缓存模块将数据按照时间分区和空间分区对数据进行临时缓存；步骤三:数据存储模块将该分区数据序列化及压缩后存入到Cassandra；步骤四：数据查询模块根据查询时间计算时间分区的值，根据查询经纬度计算空间分区的值，以时间分区值、空间分区值、数据时间和数据变量为条件查询数据到内存中，在内存中根据经纬度条件再次进行过滤最终取得查询结果。

优选的，所述时间分区将数据按数据时间以年、月、日、时之一为单位分组，将属于该分区的数据全部存储到该分区下。

优选的，所述空间分区对地理空间进行网格划分，划分成大小相同的网格，使用希尔伯特曲线为网格赋予一个唯一的id,使相邻的网格id相邻，采用顺序检索，将属于该网格区域的数据全部存储到该分区下。

优选的，在所述空间分区的划分基础上利用空间二级分区再次划分。

优选的，所述数据变量是以protobufmap的形式存储，以key为数据的经纬度，以value为对应的变量值。

优选的，在以时间分区值、空间分区值、数据时间和数据变量为条件查询数据到内存中时，其中包括解压及反序列化过程。

优选的，所述数据查询模块根据查询经纬度计算空间分区的值时，对于空间分区检索，在进行boundingbox检索时，首先根据boundingbox计算获取该boundingbox占据的所有空间分区，根据这些分区值查询数据到内存，在内存中根据经纬度过滤属于该boundingbox的数据，最终得到查询结果。

与现有技术相比，本发明的有益效果如下：

1.本发明提供的方法具有普适性，适用于所有时间空间多维属性的地理信息数据的存储查询，满足海量数据的存储需求，同时检索效率不会随数据量的增加而降低。