[发明专利]一种分布式资源调度方法及装置

说明书

本发明涉及一种分布式资源调度方法及装置。所述方法包括步骤：将分布式计算系统待完成的总任务划分为多个可并行处理的子任务；估算完成各所述子任务所需要的第一硬件资源；获取分布式计算系统的节点列表，并获取各个节点当前剩余可使用的第二硬件资源，将所述第一硬件资源与所述第二硬件资源进行比较，为各所述子任务分配最适合处理的节点及硬件资源；更新分布式计算系统的节点列表中各节点当前剩余可使用的第二硬件资源列表。本发明能够有效地根据任务将分布式系统的资源进行分配，避免大规模资源浪费，提高任务执行效率，缩短任务完成时间。

技术领域

本发明涉及分布式计算技术领域，尤其是涉及一种分布式资源调度方法及装置。

背景技术

作为信息领域研究热点的分布式计算，主要是通过计算机网络或互联网连接大量的资源，为不同的用户提供存储和计算等各种服务。分布式计算面对的计算任务庞大，任务调度和资源分配问题成为分布式计算效率的关键，针对用户对分布式计算平台的不同的任务需求，要求分布式计算服务提供商能够制定合适的服务策略。

发明人在研究中发现，传统技术中的分布式系统中集群节点数量庞大，资源利用率低，定制的任务对资源的需求不同，任务之间往往也出现抢资源的问题，不适当的资源分配会造成任务完成时间过长，也会造成大规模的资源浪费。

发明内容

有鉴于此，有必要针对上述的问题，提供一种分布式资源调度方法及装置，能够有效地根据任务将分布式系统的资源进行分配，避免大规模资源浪费，提高任务执行效率，缩短任务完成时间。

一种分布式资源调度方法，包括：

将分布式计算系统待完成的总任务划分为多个可并行处理的子任务；

估算完成各所述子任务所需要的第一硬件资源；

获取分布式计算系统的节点列表，并获取各个节点当前剩余可使用的第二硬件资源，将所述第一硬件资源与所述第二硬件资源进行比较，为各所述子任务分配最适合处理的节点及硬件资源；

更新分布式计算系统的节点列表中各节点当前剩余可使用的第二硬件资源列表。

所述将分布式计算系统待完成的总任务划分为多个可并行处理的子任务的步骤，包括：

将分布式计算系统待完成的总任务划分为多个可并行处理的子任务，并确定各所述子任务的优先级。

所述将所述第一硬件资源与所述第二硬件资源进行比较，为各所述子任务分配最适合处理的节点及硬件资源的步骤，包括：

根据各所述子任务的优先级的先后顺序，将所述第一硬件资源与所述第二硬件资源进行比较，为各所述子任务分配最适合处理的节点及硬件资源。

所述第一硬件资源和所述第二硬件资源至少包括CPU资源、内存资源和GPU资源。

所述方法包括：

将所述第一硬件资源与所述第二硬件资源进行比较时，为所述CPU资源、所述内存资源和所述GPU资源设置不同的比较权重。

一种分布式资源调度装置，包括：

任务划分模块，用以将分布式计算系统待完成的总任务划分为多个可并行处理的子任务；

硬件资源估算模块，用以估算完成各所述子任务所需要的第一硬件资源；

硬件资源比较模块，用以获取分布式计算系统的节点列表，并获取各个节点当前剩余可使用的第二硬件资源，将所述第一硬件资源与所述第二硬件资源进行比较，为各所述子任务分配最适合处理的节点及硬件资源；

硬件资源列表更新模块，用以更新分布式计算系统的节点列表中各节点当前剩余可使用的第二硬件资源列表。