[发明专利]一种任务调度方法、装置、设备、存储介质及程序产品

权利要求书

1.一种任务调度方法，其特征在于，包括：

获取待调度任务，所述待调度任务包括至少一个待调度作业；

针对各个所述待调度作业，获取所述待调度作业对应的历史执行结果文件信息和后续作业信息；

根据所述历史执行结果文件信息和所述后续作业信息确定所述待调度作业的本次执行结果文件的存储方式；

确定执行所述待调度作业的第一计算节点；

将所述待调度作业和所述存储方式下发至所述第一计算节点，以使得所述第一计算节点执行所述待调度作业，并根据所述存储方式对所述待调度作业的本次执行结果文件进行存储。

2.根据权利要求1所述的方法，其特征在于，所述根据所述历史执行结果文件信息和所述后续作业信息确定所述待调度作业的本次执行结果文件的存储方式包括：

根据所述历史执行结果文件信息预估所述本次执行结果文件的文件大小；

将所述文件大小与第一预设阈值进行比较，得到第一比较结果；

根据所述后续作业信息预估需要使用所述本次执行结果文件的作业数量；

将所述作业数量与第二预设阈值进行比较，得到第二比较结果；

根据所述第一比较结果和所述第二比较结果确定所述本次执行结果文件的存储方式。

3.根据权利要求2所述的方法，其特征在于，所述根据所述第一比较结果和所述第二比较结果确定所述本次执行结果文件的存储方式包括：

如果所述第一比较结果为所述文件大小小于或等于所述第一预设阈值，所述第二比较结果为所述作业数量小于或等于所述第二预设阈值，则确定所述存储方式为内存存储的方式；

如果所述第一比较结果为所述文件大小大于所述第一预设阈值，所述第二比较结果为所述作业数量小于或等于所述第二预设阈值，则确定所述存储方式为内存存储和本地存储相结合的方式；

如果所述第一比较结果为所述文件大小小于或等于所述第一预设阈值，所述第二比较结果为所述作业数量大于所述第二预设阈值，则确定所述存储方式为分布式缓存存储的方式；

如果所述第一比较结果为所述文件大小大于所述第一预设阈值，所述第二比较结果为所述作业数量大于所述第二预设阈值，则确定所述存储方式为分布式存储系统存储的方式。

4.根据权利要求1所述的方法，其特征在于，所述确定执行所述待调度作业的第一计算节点包括：

获取所述待调度作业对应的待处理文件的存储位置信息；

基于所述存储位置信息为所述待调度作业分配至少一个计算节点，作为所述第一计算节点。

5.根据权利要求2所述的方法，其特征在于，所述方法还包括：

在所述待调度任务中的各个待调度作业均被执行完成后，获取所述待调度任务对应的第一性能指标数据；

对当前的第一预设阈值和/或当前的第二预设阈值进行调整，基于调整后的第一预设阈值和/或调整后的第二预设阈值重新对所述待调度任务中的各个待调度作业进行调度执行；

在所述待调度任务中的各个待调度作业均被重新执行完成后，获取所述待调度任务对应的第二性能指标数据；

当所述第二性能指标数据小于所述第一性能指标数据时，相应地利用调整后的第一预设阈值替换当前的第一预设阈值；和/或，利用调整后的第二预设阈值替换当前的第二预设阈值。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

记录所述本次执行结果文件与所述待调度作业之间的对应关系；

获取所述待调度作业的前序作业，记录所述待调度作业与所述前序作业之间的血缘关系；

其中，所述前序作业为生成所述待调度作业对应的待处理文件的作业。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

当接收到所述第一计算节点发送的异常通知消息时，根据所述待调度作业对应的血缘关系确定所述待调度作业的前序作业；其中，所述异常通知消息由所述第一计算节点在未获取到所述待调度作业对应的待处理文件时生成；

向执行所述前序作业的第二计算节点发送重新执行指令，以使得所述第二计算节点重新执行所述前序作业。