[发明专利]分布式系统中资源的调度方法以及装置

说明书

本申请公开了一种分布式系统中资源的调度方法，包括：接收作业方申请资源的申请请求；读取所述申请请求中包含的所述作业方的资源需求；根据资源集中各个资源各自预设的状态标识，从所述资源集中查找与所述资源需求匹配的可用资源的资源列表；将所述资源列表发送至所述作业方，并将所述资源列表发送至所述资源列表中各个资源对应的资源节点。所述分布式系统中资源的调度方法，通过所述资源集中各个资源预设的状态标识，区别所述资源集中处于不同状态的资源，减少了分布式系统中作业执行受到的影响，提升了分布式系统的稳定性。

技术领域

本申请涉及分布式系统技术领域，具体涉及一种分布式系统中资源的调度方法。本申请同时涉及一种分布式系统中资源的调度装置、另一种分布式系统中资源的调度方法以及装置。

背景技术

随着计算机技术和网络技术的不断发展，分布式系统架构的应用越来越广泛。在分布式系统中，用户发起的作业请求往往不能直接获得实现对象，需要经过多个中间服务构件对用户的作业请求进行协同处理，并最终成功执行作业。分布式系统中通常存在三个角色：资源调度器(ResourceManager)、作业方和机器节点(MachineNode)。在分布式系统中，资源调度器(ResourceManager)用于协调、分配分布式系统中可用资源；作业方包括作业管理器(JobMaster)以及下属的作业节点(JobWorker)，其中，作业管理器(JobMaster)用于控制自身下属的所有作业节点(JobWorker)，负责代表所有作业节点(JobWorker)向资源调度器(ResourceManager)申请作业资源，以及向机器节点(MachineNode)发送作业程序；作业节点(JobWorker)用于执行具体的作业程序，只与作业管理器(JobMaster)之间进行通信；机器节点(MachineNode)代表机器负责监管作业程序的执行。

目前，现有技术提供的分布式系统中资源的调度方法，当用户发起一个作业请求时，作业管理器(JobMaster)会向资源调度器(ResourceManager)申请一定数量的资源(如CPU、内存)供作业节点(JobWorker)使用；资源调度器(ResourceManager)收到资源的申请请求后，会根据分布式系统中剩余的可用资源计算出可以分配给作业管理器(JobMaster)可用资源列表(如：在A机器上可用1核CPU、1GB内存，在B机器上可用2核CPU、2GB内存)，并将资源列表发送给作业管理器(JobMaster)和相应机器节点(MachineNode)；作业管理器(JobMaster)在收到资源列表后，会将作业节点(JobWorker)分配到相应的机器节点(MachineNode)执行作业程序；当作业节点(JobWorker)执行完毕时，作业管理器(JobMaster)会通知资源调度器(ResourceManager)归还该作业节点(JobWorker)的资源，资源调度器(ResourceManager)收到归还资源的通知消息后，通知机器节点(MachineNode)针对作业节点(JobWorker)进行资源释放。

上述现有技术提供的分布式系统中资源的调度方法存在明显的缺陷。

上述现有技术提供的分布式系统中资源的调度方法，资源调度器(ResourceManager)向作业管理器(JobMaster)分配机器资源时，与资源调度器(ResourceManager)连接的所有机器都将可能被分配作业，当分布式系统中的机器由于发生硬件故障导致连接中断时，在连接中断的这一时间段内，分配到连接中断的机器上的作业受到影响；此外，当分布式系统中的机器由于发生软件故障进行软件更新或者软件重启时，在进行软件更新或者软件重启的这一时间段内，分配到进行软件更新或者软件重启的机器上的作业同样会受到影响。

发明内容

本申请提供一种分布式系统中资源的调度方法，以解决现有技术的存在的影响作业执行的问题。

本申请同时涉及一种分布式系统中资源的调度装置、另一种分布式系统中资源的调度方法以及装置。

本申请提供一种分布式系统中资源的调度方法，包括：