[发明专利]分布式任务调度方法、装置、计算机设备及存储介质

说明书

本发明提供一种分布式任务调度方法、装置、计算机设备及计算机可读存储介质，所述方法包括以下步骤：主节点接收待执行任务，获取与所述待执行任务相对应的资源消耗对象，其中所述资源消耗对象用于表征运行所述待处理任务时消耗最多的资源对象；获取多个从节点的资源状态信息，其中所述资源状态信息包括所述从节点当前运行的进程数目，以及所述从节点当前剩余的资源数值；基于所述资源消耗对象，将当前运行的进程数目符合预设的第一规则，并且当前剩余的资源数值符合预设的第二规则的从节点作为目标从节点；将所述待执行任务分配给所述目标从节点处理。

技术领域

本发明涉及任务调度技术领域，特别涉及一种分布式任务调度方法、装置、计算机设备及存储介质。

背景技术

分布式任务调度是目前很多网络公司研究的方向，传统的任务调度方式一般是由调度平台将待处理任务在多个执行节点之间按固定顺序轮流派发或者是随机派发的，这样做的缺点是任务派发策略简单粗暴，无法达到待处理任务和执行节点之间的最佳匹配效果。目前现有技术中也有公开根据执行节点的处理能力来分配任务的，若某执行节点处理任务的速度越快，则其分配到的任务也就越多。然而，这种根据处理速度快慢进行定性分配任务的方式仍然过于笼统，实际上由于每个任务侧重消耗的资源不同，具有不同资源配置的执行节点对于同一个任务的处理速度也是不相同的。因此，如何提供一种更加灵活合理的任务调度方案，成为本领域技术人员亟待解决的技术问题。

发明内容

本发明的目的是提供一种分布式任务调度方法、装置、计算机设备及存储介质，以解决现有技术中存在的待处理任务和任务执行节点之间的匹配效果不佳的问题。

为实现上述目的，本发明提供一种分布式任务调度方法，包括以下步骤：

主节点接收待执行任务，获取与所述待执行任务相对应的资源消耗对象，其中所述资源消耗对象用于表征运行所述待处理任务时消耗最多的资源对象；

获取多个从节点的资源状态信息，其中所述资源状态信息包括所述从节点当前运行的进程数目，以及所述从节点当前剩余的资源数值；

基于所述资源消耗对象，将当前运行的进程数目符合预设的第一规则，并且当前剩余的资源数值符合预设的第二规则的从节点作为目标从节点；

将所述待执行任务分配给所述目标从节点处理。

根据本发明提供的分布式任务调度方法，其中，所述资源消耗对象包括第一资源和第二资源，所述基于所述资源消耗对象，将当前运行的进程数目符合预设的第一规则，并且当前剩余的资源数值符合预设的第二规则的从节点作为目标从节点的步骤包括：

将当前运行的进程数目小于内核总数的从节点作为候选从节点；

当所述资源消耗对象为第一资源时，将当前剩余的第一资源数值最大的候选从节点作为目标从节点；

当所述资源消耗对象为第二资源时，将当前剩余的第二资源数值最大的候选从节点作为目标从节点。

根据本发明提供的分布式任务调度方法，其中，所述将当前运行的进程数目小于内核总数的从节点作为候选从节点的步骤还包括：

将当前剩余的第一资源数值大于第一资源限额，并且当前剩余的第二资源数值大于第二资源限额的从节点作为候选从节点，其中所述第一资源限额和所述第二资源限额是由所述主节点预先设置的。

根据本发明提供的分布式任务调度方法，其中，所述将所述待执行任务分配给所述目标从节点处理的步骤之后，还包括：

监测所述目标从节点处理所述待执行任务时消耗的第一实际资源值和第二实际资源值；

根据所述第一实际资源值和第二实际资源值调整所述第一资源限额和所述第二资源限额。

根据本发明提供的分布式任务调度方法，其中，所述获取多个从节点的剩余资源信息的步骤包括：