[发明专利]基于集群和并行技术的海量卫星数据处理系统及处理方法

说明书

技术领域

本发明属于计算机数据处理技术领域，尤其涉及一种基于集群和并行技术的海量卫星数据处理系统及处理方法。

背景技术

风云三号气象卫星是我国的新一代极轨气象卫星，于2008年5月27日发射升空，星上搭载了可见光红外扫描辐射计、红外分光计、微波温度辐射计、微波成像仪、中分辨率光谱成像仪等11种传感器，其功能和技术与美国和欧洲的新一代气象卫星相当，被世界气象组织纳入新一代世界极轨气象卫星网。

风云三号卫星是近极地太阳同步轨道卫星，其中高速仪器按照每5分钟分割生成一个数据文件(以下称五分钟段数据)，全天24小时最多可以得到288个五分钟段数据。采用MERSI植被指数的轨道产品数据(数据格式为HDF5格式)，根据各自的投影查找表，将数据写入到相应的648块十度分块中。其中，十度分块是指将整个地球按经纬度各10度进行分割得到的分块，其大小4000*4000像元，输出数据仍为HDF5格式。

由于风云三号气象卫星产品的数据量巨大，相应的数据输入输出量和计算量都很可观，因此有必要采用一种全新的海量卫星数据处理系统及处理方法，以实现海量卫星数据的快速处理。

发明内容

本发明的目的在于，提供一种基于集群和并行技术的海量卫星数据处理系统及处理方法，用以实现海量卫星数据的快速处理。

为实现上述目的，本发明提供的技术方案是，一种基于集群和并行技术的海量卫星数据处理系统，其特征是所述处理系统包括顺序连接的存储模块、网络传输模块和处理模块；

所述处理模块包括全球分块单元、投影查找表读写单元、任务分配单元、调度方式配置单元和计算节点单元；

其中，全球分块单元通过网络传输模块与存储模块相连；

投影查找表读写单元通过网络传输模块与存储模块相连；

任务分配单元通过网络传输模块与存储模块相连，并与计算节点单元相连；

调度方式配置单元与任务分配单元相连；

计算节点单元通过网络传输模块与存储模块相连，并与任务分配单元相连；

全球分块单元用于根据地球的经纬度按10度进行分块，得到十度分块并存储到存储模块中；

投影查找表读写单元用于确定每个十度分块对应的投影查找表中的有效数据和五分钟段数据中的有效数据，并将每个十度分块对应的投影查找表中的有效数据和五分钟段数据中的有效数据存储到存储模块；

调度方式配置单元用于设置任务分配方式；

任务分配单元用于确定空闲的计算节点单元，并从存储模块中读取十度分块发送到空闲的计算节点单元；

计算节点单元用于从存储模块中提取与十度分块对应的投影查找表中的有效数据和五分钟段数据中的有效数据，并对十度分块中的数据进行处理。

所述处理系统包括任务量统计单元，所述任务量统计单元与任务分配单元相连，用于统计计算节点单元的任务量。

所述处理系统包括性能监控单元，所述性能监控单元用于监控CPU、内存和输入输出接口的性能。

所述任务分配方式包括根据全球的经度顺序分配任务、根据全球的纬度顺序分配任务或者乱序分配任务。

一种基于集群和并行技术的海量卫星数据处理方法，其特征是所述处理方法包括：

步骤1：全球分块单元将根据地球的经纬度按10度进行分块，得到十度分块，并存储到存储模块中；

步骤2：投影查找表读写单元确定每个十度分块对应的投影查找表中的有效数据和五分钟段数据中的有效数据，并将每个十度分块对应的投影查找表中的有效数据和五分钟段数据中的有效数据存储到存储模块；

步骤3：设置任务分配方式；

步骤4：任务分配单元判断是否存在空闲的计算节点单元，如果存在空闲的计算节点单元，则执行步骤5；否则，继续判断是否存在空闲的计算节点单元；

步骤5：任务分配单元根据任务分配方式读取1个十度分块，将其发送到任意1个空闲的计算节点单元；

步骤6：空闲的计算节点单元根据收到的十度分块，从存储模块中读取与该十度分块对应的投影查找表中的有效数据和五分钟段数据中的有效数据；

步骤7：空闲的计算节点单元根据所述投影查找表数据中的有效数据和五分钟段数据中的有效数据处理十度分块中的数据；

步骤8：返回步骤4。

所述任务分配方式包括根据全球的经度顺序分配任务、根据全球的纬度顺序分配任务或者乱序分配任务。

所述投影查找表读写单元确定每个十度分块对应的投影查找表中的有效数据和五分钟段数据中的有效数据具体包括：