[发明专利]一种卫星遥感数据快速处理系统

说明书

技术领域

本发明涉及卫星遥感数据处理领域，特别是一种卫星遥感数据快速处理系统。

背景技术

传感器技术的发展使得我国卫星对地观测能力得到了长足的提升，目前对地观测卫星的主要特点主要表现在高空间分辨率、高光谱分辨率、回访周期短、影像条带宽、立体成像能力、多种成像模式等方面，越来越多的不同平台搭载的观测传感器使得我们获得的对地观测数据每天在以TB级甚至PB级的速度飞快增长，这种采集信息的爆炸式增长为处理带来了巨大挑战。另外，应急响应、灾害评估和环境监测等遥感应用对数据处理有时效要求，需要在短时间内完成大量的高精度遥感数据处理运算，否则将无法发挥遥感技术所具有的宏观、快速和综合的优势。所以在卫星遥感数据地面处理中必须采用先进的高性能处理技术，实现遥感数据的实时或近实时处理，才能应对越来越突出的海量数据和应急响应问题。

在并行计算领域，MPI是一种消息传递模式的标准，是目前分布式计算体系上的主流编程模型。OpenMP是共享存储编程的实际工业标准，目前也被广泛应用。而GPU是新一代性价比高的高性能计算技术，且在近年来发展迅速。图形处理器在并行数据运算上具有强大的运算功能以及相对较高的并行运算速度，具有单指令流多线程（single instruction multiple thread,SIMT）的并行处理特性，在解决计算密集型问题具有很高的性价比。在遥感数据处理加速研究方面，Balz利用GPU进行合成孔径雷达数据的模拟，Govett利用GPU实现了气象模型的动力学部分，获得了34倍的加速，GPU也被用于高光谱数据端元纯度的形态学算法实现，在端元丰度指数提取和分割上获取了15倍的加速，在“嫦娥II娥探月卫星工程中，GPU用于通道下传数据的解码，并具有87倍的速度提升，另外，GPU还被用于一些星上实时目标识别和跟踪。

从目前公开发表的研究文献成果来看，都是利用MPI或OpenMP或CUDA模型对某个处理算法进行并行优化，但缺少对整个卫星遥感数据预处理流程的并行化设计和研究，没有系统的、有效的解决方案。

发明内容

本发明的技术解决问题是：基于多级并行加速技术，通过对卫星遥感数据预处理流程的数据和任务并行分解，提供一种快速的卫星遥感数据处理系统。

本发明的技术解决方案是：一种卫星遥感数据快速处理系统，包括多台计算节点、InfiniBand交换机和存储阵列；所述的计算节点包括一个Master节点和多个slave节点，各个计算节点硬件配置相同且slave节点数可以自由扩展，每台计算节点上载有多核CPU和多个GPU板卡，且保证CPU核数为GPU板卡数量的2倍以上；所述的存储阵列中预先存放参数配置文件、待处理的条带数据；所述的InfiniBand交换机将计算节点和存储阵列连接在一起形成一个高速互联网络，构成快速处理的基础硬件设施；

Master节点从存储阵列中读取参数配置文件，根据文件中的内容配置参与计算的节点、节点参与的进程数以及每个进程解析的数据行数，利用MPI协议调用配置的节点在CPU中进行并行条带数据解析，并将每个进程解析结果进行拼接，形成整轨辅助数据并存储在存储阵列中；

Master节点利用上述整轨辅助数据进行WRS分景，形成分景文件存入存储阵列中；根据参数配置文件中的节点数和GPU板卡数，利用MPI协议调用各配置节点并行对每景数据进行标准景生产处理，保证每个GPU板卡分配到一景数据；

所述的标准景生产包括一级产品生成和系统几何校正；所述的一级产品生成包括图像辐射处理流程和RPC参数求解，利用OpenMP实现图像辐射处理流程和RPC参数求解的线程并行处理；图像辐射处理流程按照处理顺序依次包括辐射校正、去噪处理、MTFC处理三个处理单元，均采用CUDA架构实现；RPC参数求解在CPU端进行，生成的RPC参数文件与图像辐射处理流程生成的图像文件构成一级产品，存储在存储阵列中；在一级产品生产完成后，采用CUDA架构在GPU中对图像辐射处理结果进行系统几何校正，得到最终的图像产品。

对每景数据进行图像辐射处理流程时采用流水线循环方式进行，减少流程内各处理单元间之间的文件IO操作，具体如下：

（1）将每景数据按参数配置文件中的每次处理影像的内存限制进行分块，按照分块顺序将第一块数据读入内存，并开辟相同大小的一块输出内存；