[发明专利]基于集群和并行技术的海量卫星数据处理系统及处理方法

权利要求书

1.一种基于集群和并行技术的海量卫星数据处理系统，其特征是所述处理系统包括顺序连接的存储模块、网络传输模块和处理模块；

所述处理模块包括全球分块单元、投影查找表读写单元、任务分配单元、调度方式配置单元和计算节点单元；

其中，全球分块单元通过网络传输模块与存储模块相连；

投影查找表读写单元通过网络传输模块与存储模块相连；

任务分配单元通过网络传输模块与存储模块相连，并与计算节点单元相连；

调度方式配置单元与任务分配单元相连；

计算节点单元通过网络传输模块与存储模块相连，并与任务分配单元相连；

全球分块单元用于根据地球的经纬度按10度进行分块，得到十度分块并存储到存储模块中；

投影查找表读写单元用于确定每个十度分块对应的投影查找表中的有效数据和五分钟段数据中的有效数据，并将每个十度分块对应的投影查找表中的有效数据和五分钟段数据中的有效数据存储到存储模块；

调度方式配置单元用于设置任务分配方式；

任务分配单元用于确定空闲的计算节点单元，并从存储模块中读取十度分块发送到空闲的计算节点单元；

计算节点单元用于从存储模块中提取与十度分块对应的投影查找表中的有效数据和五分钟段数据中的有效数据，并对十度分块中的数据进行处理。

2.根据权利要求1所述的处理系统，其特征是所述处理系统包括任务量统计单元，所述任务量统计单元与任务分配单元相连，用于统计计算节点单元的任务量。

3.根据权利要求1所述的处理系统，其特征是所述处理系统包括性能监控单元，所述性能监控单元用于监控CPU、内存和输入输出接口的性能。

4.根据权利要求1所述的处理系统，其特征是所述任务分配方式包括根据全球的经度顺序分配任务、根据全球的纬度顺序分配任务或者乱序分配任务。

5.一种基于集群和并行技术的海量卫星数据处理方法，其特征是所述处理方法包括：

步骤1：全球分块单元将根据地球的经纬度按10度进行分块，得到十度分块，并存储到存储模块中；

步骤2：投影查找表读写单元确定每个十度分块对应的投影查找表中的有效数据和五分钟段数据中的有效数据，并将每个十度分块对应的投影查找表中的有效数据和五分钟段数据中的有效数据存储到存储模块；

步骤3：设置任务分配方式；

步骤4：任务分配单元判断是否存在空闲的计算节点单元，如果存在空闲的计算节点单元，则执行步骤5；否则，继续判断是否存在空闲的计算节点单元；

步骤5：任务分配单元根据任务分配方式读取1个十度分块，将其发送到任意1个空闲的计算节点单元；

步骤6：空闲的计算节点单元根据收到的十度分块，从存储模块中读取与该十度分块对应的投影查找表中的有效数据和五分钟段数据中的有效数据；

步骤7：空闲的计算节点单元根据所述投影查找表数据中的有效数据和五分钟段数据中的有效数据处理十度分块中的数据；

步骤8：返回步骤4。

6.根据权利要求5所述的处理方法，其特征是所述任务分配方式包括根据全球的经度顺序分配任务、根据全球的纬度顺序分配任务或者乱序分配任务。

7.根据权利要求5或6所述的处理方法，其特征是所述投影查找表读写单元确定每个十度分块对应的投影查找表中的有效数据和五分钟段数据中的有效数据具体包括：

步骤101：读取投影查找表的头信息，包括行列偏移量及行列值；

步骤102：确定投影查找表对应的十度分块ID；

步骤103：计算每个十度分块对应的投影查找表和五分钟段数据；

步骤104：定位投影查找表中的有效数据；

步骤105：定位五分钟段数据中的有效数据；

所述定位投影查找表中的有效数据是指计算该投影查找表与十度分块重合区域的左上角的位置及所述重合区域的行列值，并通过确定起始位置的逻辑偏移值，计算出投影查找表物理偏移值及投影查找表与十度分块重合区域的大小；

所述定位五分钟段数据中的有效数据具体是指读取投影查找表中的有效数据，去除无效数据，分别计算出与该十度分块数据对应的五分钟段数据的行最大值、行最小值、列最大值和列最小值，并以行最小值和列最小值作为读取该五分钟段数据的首位置。