[发明专利]资源控制方法、装置及系统

说明书

本申请实施例提供一种资源控制方法、装置及系统，其中，该系统包括多个控制节点、与每个控制节点连接的多个调度节点、与每个调度节点连接的请求节点；每个机器节点连接一个控制节点；请求节点接收用户提交的待处理作业并请求第一调度节点对待处理作业进行调度处理；第一调度节点为待处理作业创建作业管理器；确定存在可用资源的第一机器节点，为待处理作业分配所述第一机器节点中的机器资源；将所述第一机器节点的资源分配结果发送至对应的第一控制节点；接收所述第一控制节点反馈的分配成功消息，向所述作业管理器发送分配成功通知。本申请实施例提供的技术方案保证了作业正常处理，提高集群资源利用率。

技术领域

本申请实施例涉及分布式处理技术领域，尤其涉及一种资源控制方法、装置及系统。

背景技术

目前的作业处理系统通常采用分布式架构实现，由机器节点负责提供机器资源，每一份机器资源可以运行一个作业节点，用户提交的作业可以分配到多个作业节点中执行，实现分布式处理。

为了方便进行资源管理，现有的分布式的作业处理系统中，由资源管理器进行资源调度处理，由作业管理器负责作业节点的管控，具体地，资源管理器负责接收用户提交的待处理作业，并在机器节点中创建作业管理器；作业管理器基于待处理作业向资源管理器申请一定数量的机器资源；资源管理器基于不同机器节点的可用资源，进行资源分配，并将资源分配结果(不同机器节点中分配多少份机器资源等)反馈给作业管理器；作业管理器基于资源分配结果在相应机器节点创建作业节点以执行所述作业。

由上述描述可知，资源管理器负责进行资源管理和调度，而实际应用中往往存在很多作业，但是资源管理器的性能有限，从而就会影响作业处理，使得集群资源利用率降低。

发明内容

本申请实施例提供一种资源控制方法、装置及系统。

第一方面，本申请实施例提供了一种资源控制系统，包括多个控制节点、与每个控制节点连接的多个调度节点、与每个调度节点连接的请求节点；其中，每个机器节点连接一个控制节点；

所述请求节点用于接收用户提交的待处理作业，并请求第一调度节点对所述待处理作业进行调度处理；

所述第一调度节点用于为所述待处理作业创建作业管理器；确定存在可用资源的第一机器节点，为所述待处理作业分配所述第一机器节点中的机器资源；将所述第一机器节点的资源分配结果发送至对应的第一控制节点；接收所述第一控制节点反馈的分配成功消息，向所述作业管理器发送分配成功通知，以供所述作业管理器在所述第一机器节点中创建作业节点；

所述第一控制节点用于接收所述第一机器节点的资源分配结果；判断所述第一机器节点是否允许进行资源分配；如果允许进行资源分配，向所述第一调度节点反馈分配成功消息。

第二方面，本申请实施例提供了一种资源控制方法，应用于资源控制系统中，所述资源控制系统包括多个控制节点、与每个控制节点连接的多个调度节点、与每个调度节点连接的请求节点；其中，每个机器节点连接一个控制节点；

所述方法包括：

接收用户提交的待处理作业；

从多个调度节点中确定第一调度节点；

向所述第一调度节点发送调度处理请求，以便于所述第一调度节点为所述待处理作业创建作业管理器，确定存在可用资源的第一机器节点，为所述待处理作业分配所述第一机器节点中的机器资源，以及将所述第一机器节点的资源分配结果发送至对应的第一控制节点，接收所述第一控制节点反馈的分配成功消息，向所述作业管理器发送分配成功通知，以供所述作业管理器在所述第一机器节点中创建作业节点；其中，所述第一控制节点用于判断所述第一机器节点是否允许进行资源分配，若是，向所述第一调度节点反馈分配成功消息。