[发明专利]一种基于混合索引的卫星遥感大数据优化查询方法

说明书

本发明公开了一种基于混合索引的卫星遥感大数据优化查询方法，包括以下步骤，对采集的卫星遥感数据进行修复处理，修复因卫星未校准或云层覆盖而导致的卫星数据丢失，避免因空白区域和卫星数据丢失而降低整个数据的可用性，采用混合索引的方式，构建一种新型的多分辨率时空索引，通过确立网格稀疏度，选择建立不同的索引策略，优化查询性能。本发明面向卫星遥感大数据的高效存储和处理技术，采用混合索引技术，建立了一种全新的时空索引，针对卫星遥感大数据的特点进行了多方面的设计，能够同时处理时间范围和空间范围的查询条件，整体查询效率较传统基于MapReduce计算模型的数据处理系统更为高效。

技术领域

本发明涉及计算机数据库中的时空数据管理技术领域，尤其涉及一种基于混合索引的卫星遥感大数据优化查询方法。

背景技术

随着数据时代的到来，各种信息数据呈现出急速增长的趋势。在航空航天领域，航天机构每天都会收到来自卫星传送来的大量遥感数据，由于遥感数据不断积累以及数据信息极为复杂，整个数据集变得越来越难以处理，以美国国家航空航天局(NASA)提供的数据集(LP DACC)为例，该数据集超过了500TB，且这些数据每天仍在飞速增长中。该数据集包含了多方面的卫星遥感信息，包括温度、植被和地表辐射等，覆盖了整个地球长达15年的数据。

卫星遥感数据由于其稀有性和高价值，已成为多个领域的研究热点，而在计算机科学领域，地理信息系统研究也已经发展成为计算机科学一个重要的分支，如何处理、分析和展示卫星遥感数据一直是该领域的重要话题。由于卫星遥感数据庞大和信息繁杂，传统卫星遥感数据技术和方法已远远无法满足针对这些数据进行基本查询和可视化的响应数据的性能需求，因而如何存储、处理海量卫星数据，是目前急需解决的问题。

随着MapReduce计算模型的提出和基于MapReduce的开源实现Hadoop系统的日渐成熟，工业界和学术界越来越多地利用MapReduce计算模型来实现对大量时空数据进行管理和应用以满足对大量卫星数据的处理需求，目前已提出以下几种卫星遥感数据存储处理系统原型：

(1)Parallel-Second^[1]：该系统是以Hadoop^[4]作为分布式任务调度的并行时空数据库。

(2)MD-HBase^[2]：该系统是一个在HBase^[5]基础上，支持多维索引的数据库。

(3)Hadoop-GIS^[3]：该系统是一个在Hive^[6]基础上，支持网格索引和范围查询的数据仓库。

通过对现有系统采用的技术进行分析，发现现有这些系统存在如下几种问题：

(1)系统本身不针对时空数据的特性进行特殊化处理。hadoop作为黑盒，基于hadoop进行实现，因而受到hadoop自身的限制，随着数据量的增加，性能会遇到瓶颈。

(2)无法在定制构架的时空索引上运行MapReduce程序。除了系统本身支持的检索功能外，用户自身不能定制新的时空操作。

(3)一些系统只支持标准网格索引，无法高效处理时间过滤条件， Hadoop-GIS。

上文中提到的文献来源于如下的期刊：

[1]Lu J,Guting RH.Parallel Secondo:Boosting Database Engines withHadoop[C]//IEEE,International Conference on Parallel and Distributed Systems.IEEE Computer Society,2012:738-743.