[发明专利]YARN集群资源调度方法、系统、介质和计算机设备

说明书

本公开涉及YARN集群资源调度方法、系统、介质和计算机设备，其中集群中配置有批处理调度器，所述方法包括：接收目标应用程序的作业资源请求；将所述作业资源请求分配至对应的资源请求集合中；其中目标应用程序的不同的作业资源请求对应不同的资源请求集合；启动所述批处理调度器来批处理每个所述资源请求集合中的所有作业资源请求，从而批量分配对应的一批资源。本公开实施方案可以通过批处理调度器来处理资源请求集合中的所有作业资源请求而批量分配一批资源，提高集群调度吞吐量及调度性能。

技术领域

本公开实施例涉及计算机集群资源管理技术领域，尤其涉及一种YARN集群资源调度方法，YARN集群资源调度系统，以及实现YARN集群资源调度方法的计算机可读存储介质和计算机设备。

背景技术

YARN是一种新的Hadoop资源管理系统，它将资源管理从计算框架中分离出来，变成一个通用资源管理系统，可为上层应用提供统一的资源管理和调度。

Hadoop原生YARN系统通常可由资源管理器RM(Resource Manager)，节点管理器NM(NodeManager)，应用管理器AM(Application Master)以及资源容器(Container)等组成。YARN中进行资源调度管理时，目前采用的调度器(Scheduler)一般包括可插拔的先进先出调度器(FIFO Scheduler)，容量调度器(Capacity Scheduler)和公平调度器(FairScheduler)。

而目前的Fair Scheduler在资源调度时由NM的心跳触发，每次NM心跳时，都会触发一次资源分配，而且只能分配一个Container。这会带来如下问题：当心跳频率较长时由于调度事件的流入减少导致调度吞吐量降低，影响到整个集群的吞吐量及调度性能。另外，Fair Scheduler发现当前发来心跳的NM不能满足相应作业的要求或作业请求不需要资源，就会跳过继续寻找下一个作业请求，这会引起空分配，也就是空转，在一定程度上会对集群调度性能产生极大影响。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种一种YARN集群资源调度方法，YARN集群资源调度系统，以及实现YARN集群资源调度方法的计算机可读存储介质和计算机设备。

第一方面，本公开实施例提供一种YARN集群资源调度方法，所述集群中配置有批处理调度器，所述方法包括以下步骤：

接收目标应用程序的作业资源请求；

将所述作业资源请求分配至对应的资源请求集合中；其中，所述目标应用程序的不同的作业资源请求对应不同的资源请求集合；

启动所述批处理调度器来批处理每个所述资源请求集合中的所有作业资源请求，从而批量分配对应的一批资源。

在本公开的一些实施例中，所述方法还包括：

获取预设映射关系，所述预设映射关系包含不同应用程序与所述集群中不同节点之间的映射关系；

基于所述预设映射关系，从所述集群的节点中选择所述目标应用程序对应的至少一个目标节点；

基于所述至少一个目标节点上的资源，为每个所述资源请求集合中的作业资源请求分配对应的资源。

在本公开的一些实施例中，所述方法还包括：

按预设周期更新所述预设映射关系，以更新所述集群中应用程序与所述集群中不同节点之间的映射关系。

在本公开的一些实施例中，所述方法还包括：

从所述集群的所有节点中随机动态选择预设数量的目标节点；

基于所述预设数量的目标节点上的资源，为每个所述资源请求集合中的作业资源请求分配对应的资源。