[发明专利]一种在集群中快速迁移海量空间数据的方法

说明书

技术领域

本发明涉及数据迁移技术领域。

背景技术

随着对地卫星观测系统的发展，人们对于遥感数据尤其是遥感影像数据的获取能力不断提升，因此人们获得的遥感影像数据逐步呈现多源、多尺度、多时相、全球覆盖和高分辨率特征，同时数据量呈爆炸性式长，现今已经达到了PB数据量级。

对地观测手段的丰富，使得遥感影像数据的来源越来越多，越来越广，而不同的数据来源手段产生的数据的图幅大小、分辨率大小、图像的命名格式等不尽相同。

对于集群存储系统中的图幅大小、分辨率等属性不同的遥感影像数据，若根据需要，要对某个地区范围内的所有类型的数据进行迁移，然而由于数据之间异构，因此不能按照统一的基准进行查询和检索，必须要对不同分幅标准的数据按照自己特有编码的进行单独的索引和查找。由于对不同分幅标准的数据都要按照相应的分幅规格进行收集和整理，这使得迁移程较多停留在人工操作层面，人工选择、拷贝和迁移数据不仅会有遗漏、错误等情况发生，在数据量非常大的情况下，还会非常耗时。数据迁移作为一种常规的工作，人工操作的方式严重影响了各遥感信息管理系统之间的数据共享的效率。

发明内容

有鉴于此，本发明提供了一种在集群中快速迁移海量空间数据的方法，使用该方法对于空间数据进行索引查询，其查找更加具有目的性，大大提高了数据迁移的效率，避免了多重查询，实现了空间数据的快速迁移；使用该方法以地理范围为查询条件即可快速选择数据，因此本发明所提供的数据迁移方法对于异构空间数据量大的情况尤其适用，打破了异构空间数据的迁移量限制。

为达到上述目的，本发明的技术方案为：本方法包括如下步骤：

步骤一、建立影像数据的集群存储系统；集群存储系统中每台主机均存储具有地理范围的影像；

步骤二、每台主机对于所存影像，建立剖分索引gsot文件：

剖分索引gsot文件包括影像号和面片号，影像号为：在采用GeoSOT剖分体系对全球地理进行剖分所获得的各层级GeoSOT面片中，找到一个包含单幅影像的地理范围的最小GeoSOT面片，对面片使用GeoSOT编码方案进行编码，获得的编码即为影像号；

所述面片号为：使用设定层级的GeoSOT面片对影像进行剖分，得到覆盖影像的剖分面片集合；使用GeoSOT编码方案对得到的剖分面片集合中各剖分面片进行编码，记为面片号；

步骤三、选取集群存储系统中一台主机作为管理节点，管理节点实时读取每台主机中所存储的剖分索引gsot文件，存入事先建立的索引总表中；

索引总表包括影像号及其对应影像索引信息、面片号及其对应剖分面片索引信息，影像索引信息为包含影像存储位置在内的信息，剖分面片索引信息为包含剖分面片在所属影像中的位置以及剖分面片所属影像的存储位置在内的信息；

步骤四、接收主机发送设定的迁移编码至管理节点；迁移编码的设定方法如下：

接收主机根据待迁移数据所对应的地理范围，在采用GeoSOT剖分体系对全球地理进行剖分所获得的各层级GeoSOT面片中，找到一个包含待迁移数据所对应的地理范围的最小GeoSOT面片，记为迁移面片，对该迁移面片使用GeoSOT编码方案进行编码，则获得迁移编码；

步骤五、管理节点将迁移编码分别与索引总表中的影像号和面片号由左至右进行匹配，获取与迁移编码匹配一致且长度等于或者长于迁移编码长度的影像号或者面片号，对获取到的影像号提取其对应影像索引信息，对获取到的面片号提取其对应剖分面片索引信息；

步骤六、管理节点将步骤五提取的影像号及其对应影像索引信息或者面片号及其对应剖分面片索引信息存入事先建立的索引子表，管理节点按照索引子表的影像索引信息或剖分面片索引信息获取影像或者剖分面片；

步骤七、管理节点将上述步骤六中获得的影像或者剖分面片传输至接收主机。

进一步地，步骤一中所建立的影像数据的集群存储系统为基于GeoIP的集群存储系统；集群存储系统中每台主机均存储其GeoIP地址对应地理范围内的影像。

进一步地，步骤三中若用户主机中的剖分索引gsot文件有更新，管理节点实时读取出该更新并对索引总表进行相应的更新。

优选地，影像索引信息为影像的存储路径、数据格式、分辨率以及获得时间；所述剖分面片索引信息为剖分面片在所属影像中的位置以及剖分面片所属影像的存储位置、数据格式、分辨率和获得时间。