[发明专利]一种分布式任务调度系统和方法

权利要求书

1.一种分布式任务调度系统，其特征在于，包括：资源管理模块、模型管理模块、任务管理模块和任务执行引擎；

所述资源管理模块，用于获取多源大数据计算环境的集群信息；根据所述集群信息，获取每个大数据计算环境的资源管理器队列的资源信息，并创建每个资源管理器队列对应的资源池，所述每个资源管理器队列对应的资源池的资源信息与该资源管理器队列的资源信息相同；

所述模型管理模块，用于获取并存储待执行任务的代码包；

所述任务管理模块，用于基于所述模型管理模块中的所述代码包，生成预设任务类型的所述待执行任务，所述待执行任务的资源配置信息包括目标资源池以及目标资源信息，所述目标资源池为所述多源大数据计算环境中目标大数据计算环境下的资源池；基于所述目标资源信息，向所述资源管理模块申请所述目标资源池中的目标资源；在资源申请成功后，将所述待执行任务调度到所述任务执行引擎；

所述任务执行引擎，用于将所述待执行任务发送至所述目标资源池对应的所述目标大数据计算环境的目标资源管理器队列，以使所述目标大数据计算环境执行所述目标资源管理器队列中的所述待执行任务。

2.根据权利要求1所述的系统，其特征在于，所述资源管理模块，具体用于：

接收多源大数据计算环境的配置文件；从每个大数据计算环境的配置文件中提取每个大数据计算环境的集群信息；或者，

通过每个大数据计算环境提供的回调接口，调取每个大数据计算环境中的配置文件；从每个大数据计算环境的配置文件中提取每个大数据计算环境的集群信息，每个大数据计算环境提供的回调接口的协议相同。

3.根据权利要求1所述的系统，其特征在于，

所述模型管理模块，还用于：对所述代码包进行解析，得到所述代码包包括的各个算法包的执行入口和存储路径；

所述任务管理模块，具体用于：根据所述代码包包括的各个算法包的执行入口和存储路径，从所述代码包中提取各个算法包，生成各个算法包对应的预设任务类型的待执行任务。

4.根据权利要求1所述的系统，其特征在于，所述任务管理模块，还用于基于所述目标资源信息，校验所述目标资源是否大于所述目标资源池中的可用资源；若否，则向所述资源管理模块申请所述目标资源池中的所述目标资源。

5.根据权利要求1所述的系统，其特征在于，所述任务管理模块，还用于监听所述待执行任务的执行状态；若监听到所述待执行任务的执行状态为结束或者失败，则向所述资源管理模块释放所述目标资源池中的所述目标资源。

6.根据权利要求1所述的系统，其特征在于，所述任务执行引擎，具体用于从所述资源管理模块获取所述多源大数据计算环境的集群信息，根据所述集群信息、以及所述待执行任务包括的资源配置信息，确定所述目标资源池对应的所述目标大数据计算环境的目标资源管理器队列；将所述待执行任务发送至所述目标资源管理器队列。

7.根据权利要求1所述的系统，其特征在于，还包括：前端模块和分布式支撑模块；

所述前端模块为具有图形用户界面的模块，所述前端模块用于接收用户输入的指令；

所述分布式支撑模块用于为所述资源管理模块、模型管理模块、任务管理模块和任务执行引擎提供分布式服务。