[发明专利]一种基于混合索引的卫星遥感大数据优化查询方法

权利要求书

1.一种基于混合索引的卫星遥感大数据优化查询方法，其特征在于，包括以下步骤：

S1:对采集的卫星遥感数据进行修复处理，修复因卫星未校准或云层覆盖而导致的卫星数据丢失，避免因空白区域和卫星数据丢失而降低整个数据的可用性；

S2：采用混合索引的方式，构建一种多分辨率时空索引，通过确立网格稀疏度，选择建立不同的索引策略，优化查询性能；

所述S2包括以下步骤：

S21：构建以天为粒度的时空索引，当数据清理模块完成，索引模块基于被修复过的数据构建以天为粒度的索引；

S22：构建以月或年为粒度的时空索引，在每月月底或者年底，合并以天为粒度的时空索引，构建更为高效层级化的索引结构；

S3：接收来自用户的选择和聚集的查询请求，利用时空混合索引结构快速查找满足用户查询条件的数据，快速返回符合查询要求的结果；

所述对采集的卫星遥感数据进行修复处理包括：

卫星遥感数据集存储了包括温度、植被、地表辐射和热反常的历史卫星数据，以层级结构组织，在第一层，文件以数据集组织，每个数据集被存储在分离的目录中，温度或者植被；在第二层，每个数据集以天为单位时间进行分块，每个文件存储在分离的目录中，以数据快照的时间为目录名，在第三层，每份快照中的数据分布在全球范围的正规网格中；每个网格块以二维坐标为ID，h21v06代表第21行第6列的单元；在第四层，每个文件包含一组二维数组，代表了某特定时间和地区的点的数值表示；文件均采用HDF5格式，一种内容以二维数据组织的二进制格式，数组的大小因分辨率而不同可进行配置，可分为1200*1200,2400*2400,4800*4800，数组中每个值分别代表大小为1000*1000m，500*500m，250*250m地区范围上的卫星遥感数据值；

数组中每个值的坐标并不直接存储，而是通过正弦相交计算后进行存储，具体如下：给定一个温度数据集网格块中的一个点，网格块的大小为1200*1200，在网格块h21v06中坐标为(100,100)的点，为了计算其经纬度坐标，首先需要计算点在正弦空间的位置：

x＝21+100/1200、

y＝6+100/1200、

然后，其经纬度按如下公式计算：

latitude＝(9-y)*10、

longitude＝(x-18)*10*cos(latitude)、

若给定经纬度的偏移量，上述公式可以被逆向使用，解算出经纬度对应的文件中点的位置；

针对数据丢失，采用二维线性插入方法来预测丢失的数据，基本思想是为每个丢失的点计算两个估值(x,y)，通过依赖同一水平和垂直线上最邻近的两个有效点的数值，使用传统的线性插入的方法来计算，具体的估值通过计算两个估值x和y的平均值来得到。