[发明专利]一种多载荷数据处理方法及系统

说明书

技术领域

本发明涉及地学计算领域，尤其涉及一种多载荷数据处理方法及系统。

背景技术

目前，对空间科学数据的地面处理，通常使用通用高性能卫星地面预处理系统，该系统采用二级任务管理与调度技术，第一级为数据处理任务的流程管理与调度，把用户提交的所有计算任务都放入请求队列中，通过调用验证服务对队列中的请求进行检验，通过检验的请求进入调度队列，同时反馈给提交请求的用户一个唯一的ID作为标记；第二级为子任务管理与调度，该阶段从第一级调度中接收新的调度任务，利用任务资源池缓存任务，然后根据优先级、调度策略、计算资源负载等因素协调资源，以决定将子任务分配给哪个计算节点进行处理。

然而在处理空间科学数据时，上述数据处理方案存在以下缺点：

(1)多载荷数据扩展处理难

与传统遥感卫星数据处理过程不同之处在于，空间科学数据的地面处理通常需要应对多种载荷成像机理差异较大的情况，例如同一飞行平台上为了进行更多种类的空间科学实验与观测，会搭载包括光学、微波及其他空间环境探测类的多种类型载荷，不同类型载荷的数据处理功能无法利用该技术方案进行扩展。

(2)高并发处理流程调度效率不高

该技术方案对数据处理流程的调度是在OpenPBS预设调度算法的基础上进行优化实现，在处理空间科学领域的高速下行数据时，对高并发的数据处理流程调度效率受限于任务优先级、提交顺序等因素影响，不能很好地实现计算节点之间的负载均衡。

(3)数据处理流程无法按需组合

该技术方案中对数据进行不同级别产品生产的流程都是固定的算法模块进行组合得到的，而在多载荷空间科学数据处理过程中，根据数据产品生产需求、数据产品质量分析需求，对算法模块进行按需组合是一项必备功能，这也是该技术方案中无法实现的功能。

发明内容

本发明所要解决的技术问题是针对现有技术的不足，提供一种多载荷数据处理方法及系统。

本发明解决上述技术问题的技术方案如下：

一种多载荷数据处理方法，包括以下步骤：

获取用于处理多载荷数据的至少一个算法；

根据全部所述算法生成一个工作流；

获取所述多载荷数据，并确定所述多载荷数据的数据量；

根据预设的调度算法和所述数据量，对用于处理所述多载荷数据的计算节点进行调度，确定根据所述工作流处理所述多载荷数据的计算节点；

将所述工作流和所述多载荷数据发送到对应的计算节点，所述计算节点根据所述工作流对所述多载荷数据进行处理。

本发明的有益效果是：本发明提供的一种多载荷数据处理方法，通过事先根据处理多载荷数据的算法生成工作流，解决了现有技术多载荷数据扩展处理难的问题，实现了同时对多种载荷数据进行处理，同时实现了将算法进行按需组合，能够根据多种算法生成的多种不同的工作流生成不同的数据产品，并且通过预设的调度算法对计算节点进行调度，解决了现有技术高并发处理流程调度效率不高的问题，实现了高并发数据的处理流程的负载均衡调度。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步地，所述获取用于处理多载荷数据的至少一个算法之后，还包括：

读取全部所述算法的算法信息；

根据全部所述算法的算法信息生成一个XML文件；

获取Schema文件，根据所述Schema文件对所述XML文件的全部取值的类型进行检测，当检测到所述XML文件的取值的类型出现错误时，向预设终端发送检测结果。

进一步地，所述根据各所述算法生成工作流具体包括：

调用OSWorkflow工作流引擎，从所述XML文件中选择至少一个所述算法，将选择的所述算法组合成工作流。

进一步地，所述工作流包括第一级数据生成流程、第二级数据生成流程、第三级数据生成流程和第四级数据生成流程中的任一种，其中：

所述第一级数据生成流程包括：辐射校准算法；

所述第二级数据生成流程依次包括：辐射校准算法和几何校正算法；

所述第三级数据生成流程依次包括：辐射校准算法、几何校正算法和几何精校正算法；

所述第四级数据生成流程依次包括：辐射校准算法、几何校正算法、几何精校正算法和正射校正算法。

进一步地，还包括：

对所述计算节点处理所述多载荷数据的工作状态进行监控，并将所述工作状态发送给预设终端。

本发明解决上述技术问题的另一种技术方案如下：