[发明专利]一种基于云计算的遥感卫星数据解压缩处理系统及方法

权利要求书

1.一种基于云计算的遥感卫星数据解压缩处理系统，其特征在于，包括输入格式组件、分块读取组件、数据划分组件、解压缩Mapper组件、解压缩Shuffle组件、解压缩Reducer组件、原始数据解压缩组件、图像拼接组件；

输入格式组件：根据设置的原始数据分块大小和位置，将原始数据切割成分块数据，调用分块读取组件，生成可供解压缩Mapper组件处理的原始分块数据键值对<key,value>，并分发至各个Map处理节点；

数据划分组件：记录各个原始分块数据的大小和位置；

分块读取组件：根据原始分块数据，生成key值和value值，组合成原始分块数据键值对<key,value>；

解压缩Mapper组件：接收原始分块数据键值对，进行数据提取操作，同时调用原始数据解压缩组件，将原始分块数据解压缩，生成图像块数据，并将其重新组织成键值对<key,value>的形式；

解压缩Shuffle组件：接收图像块数据键值对，按照图像幅号以及幅内块号进行排序，输出至解压缩Reducer组件；

解压缩Reducer组件：接收排序后的图像块数据，调用图像拼接组件进行图像数据的拼接、辅助数据恢复和数据校验；

原始数据解压缩组件：以原始分块数据为单位进行数据解压缩，输出解压缩后数据；

图像拼接组件：将具有同一幅号的图像块和辅助数据块按照块号进行排序，并进行拼接，最终形成符合卫星数据格式规范的图像数据和辅助数据。

2.一种基于云计算的遥感卫星数据解压缩处理方法，其特征在于，包括步骤如下：

(1)根据每颗遥感卫星的原始数据格式特征，确定用于并行计算的输入数据分块长度，调用数据划分组件，生成原始数据分割信息描述文件；

(2)根据输入的原始数据分割信息描述文件，调用输入格式组件、分块读取组件、数据划分组件，进行原始数据的划分，将原始数据分割为原始分块数据键值对<key,value>的集合，同时分配各原始分块数据存储的数据节点；

(3)Hadoop平台根据各Map节点的负载与原始分块数据的存储位置，将各个原始分块数据键值对分配至最优的Map处理节点进行运算；

(4)各解压缩Mapper组件处理原始分块数据键值对，进行数据提取操作，同时调用原始数据解压缩组件，将原始分块数据解压缩，生成图像块数据，并重新组合成图像块数据键值对<key,value>的形式，处理结果以数据流的方式传输到解压缩Shuffle组件；如果节点出现异常错误，则调度到其他节点重新运算；

(5)解压缩Shuffle组件接收数据流，按照图像幅号以及幅内块号将键值对排序后，以数据流的方式传输至各解压缩Reducer组件；

(6)各解压缩Reducer组件将具有同一幅号的图像块和辅助数据块按照块号进行排序，对同一幅号的图像数据和辅助数据进行拼接，同时进行校验，最后生成遥感卫星各个类型传感器完整的图像数据和辅助数据。

3.根据权利要求2所述的一种基于云计算的遥感卫星数据解压缩处理方法，其特征在于，分割信息描述文件结构如下：

<split>

<id>分块序号</id>

<start>起始坐标</start>

<end>结束坐标</end>

</split>

其中，id为数据分块序号，start为数据分块起始字节值，end为数据分块结束字节值。

4.根据权利要求2或3所述的一种基于云计算的遥感卫星数据解压缩处理方法，其特征在于，所述输入格式组件：根据设置的原始数据分块大小和位置，将原始数据切割成分块数据，调用分块读取组件，生成可供解压缩Mapper组件处理的原始分块数据键值对<key,value>，并分发至各个Map处理节点。

5.根据权利要求4所述的一种基于云计算的遥感卫星数据解压缩处理方法，其特征在于，所述数据划分组件：记录各个原始分块数据的大小和位置。

6.根据权利要求5所述的一种基于云计算的遥感卫星数据解压缩处理方法，其特征在于，所述分块读取组件：根据原始分块数据，生成key值和value值，组合成原始分块数据键值对<key,value>。