[发明专利]一种基于云计算的遥感卫星数据解压缩处理系统及方法

说明书

一种基于云计算的遥感卫星数据解压缩处理系统，包括输入格式组件、分块读取组件、数据划分组件、解压缩Mapper组件、解压缩Shuffle组件、解压缩Reducer组件、原始数据解压缩组件、图像拼接组件；本发明按照遥感数据分割描述文件与数据压缩帧格式对各传感器图像原始数据进行并行粒度划分，使其能够并行处理；采用优化后的Map‑Reduce计算模型对分割后的原始数据分块进行高速并行解压缩处理，一个传感器图像数据可由多个节点并行解压缩处理，依次完成数据解压缩、图像数据排序、图像数据拼接，形成完整的图像数据。

技术领域

本发明涉及一种卫星遥感图像原始数据解压缩处理系统及方法，属于遥感数据处理领域，适用于遥感卫星图像处理。

背景技术

卫星下传的原始数据都是组包成约定格式的压缩码流，地面必须配置去格式解压缩设备来完成相应的逆处理，以恢复出原始图像数据。

目前国产遥感卫星原始数据解压缩主要采用单节点单步处理的方式，每个专用节点负责一个图像虚拟信道数据的解压缩。从数据获取开始，经过帧同步、解扰、格式解析、数据分割、解压缩、图像拼接、数据回放等步骤，完成对原始数据的解压缩处理。随着我国遥感卫星技术的发展，卫星数传码率以及星载压缩编码器性能均大幅提高。使用单节点单步流程处理高速数传码流，运算量极大，单节点易出现系统问题，可靠性和效率极低。为了保证数据解压缩的可靠性，专用节点只能降低解压缩的速率，无法满足用户对遥感影像的实时获取需求，且增加了系统维护成本。

发明内容

本发明要解决的技术问题是：本发明采用云计算架构，克服单节点模式的性能瓶颈问题，提供一种基于云计算的遥感卫星数据解压缩系统及方法，解决了目前遥感卫星数据解压缩处理时效性差，可靠性低的问题。本发明在面对海量遥感数据解压缩有巨大的性能及可靠性优势，无需进行降速解压缩，即可高效可靠完成整轨双通道原始数据的解压缩处理；同时其性能可以通过增加云计算节点的方式进一步提高，具有较高的扩展性。

本发明所采用的技术方案是：一种基于云计算的遥感卫星数据解压缩处理系统，包括输入格式组件、分块读取组件、数据划分组件、解压缩Mapper组件、解压缩Shuffle组件、解压缩Reducer组件、原始数据解压缩组件、图像拼接组件；

输入格式组件：根据设置的原始数据分块大小和位置，将原始数据切割成分块数据，调用分块读取组件，生成可供解压缩Mapper组件处理的原始分块数据键值对<key,value>，并分发至各个Map处理节点；

数据划分组件：记录各个原始分块数据的大小和位置；

分块读取组件：根据原始分块数据，生成key值和value值，组合成原始分块数据键值对<key,value>；

解压缩Mapper组件：接收原始分块数据键值对，进行数据提取操作，同时调用原始数据解压缩组件，将原始分块数据解压缩，生成图像块数据，并将其重新组织成键值对<key,value>的形式；

解压缩Shuffle组件：接收图像块数据键值对，按照图像幅号以及幅内块号进行排序，输出至解压缩Reducer组件；

解压缩Reducer组件：接收排序后的图像块数据，调用图像拼接组件进行图像数据的拼接、辅助数据恢复和数据校验；

原始数据解压缩组件：以原始分块数据为单位进行数据解压缩，输出解压缩后数据；

图像拼接组件：将具有同一幅号的图像块和辅助数据块按照块号进行排序，并进行拼接，最终形成符合卫星数据格式规范的图像数据和辅助数据。

一种基于云计算的遥感卫星数据解压缩处理方法，包括步骤如下：

(1)根据每颗遥感卫星的原始数据格式特征，确定用于并行计算的输入数据分块长度，调用数据划分组件，生成原始数据分割信息描述文件；