[发明专利]YARN集群资源调度方法、系统、介质和计算机设备

权利要求书

1.一种YARN集群资源调度方法，其特征在于，所述集群中配置有批处理调度器，所述方法包括以下步骤：

接收目标应用程序的作业资源请求；

将所述作业资源请求分配至对应的资源请求集合中；其中，所述目标应用程序的不同的作业资源请求对应不同的资源请求集合；

启动所述批处理调度器来批处理每个所述资源请求集合中的所有作业资源请求，从而批量分配对应的一批资源。

2.根据权利要求1所述的YARN集群资源调度方法，其特征在于，所述方法还包括：

获取预设映射关系，所述预设映射关系包含不同应用程序与所述集群中不同节点之间的映射关系；

基于所述预设映射关系，从所述集群的节点中选择所述目标应用程序对应的至少一个目标节点；

基于所述至少一个目标节点上的资源，为每个所述资源请求集合中的作业资源请求分配对应的资源。

3.根据权利要求2所述的YARN集群资源调度方法，其特征在于，所述方法还包括：

按预设周期更新所述预设映射关系，以更新所述集群中应用程序与所述集群中不同节点之间的映射关系。

4.根据权利要求1所述的YARN集群资源调度方法，其特征在于，所述方法还包括：

从所述集群的所有节点中随机动态选择预设数量的目标节点；

基于所述预设数量的目标节点上的资源，为每个所述资源请求集合中的作业资源请求分配对应的资源。

5.根据权利要求1～4任一项所述的YARN集群资源调度方法，其特征在于，所述将所述作业资源请求分配至对应的资源请求集合中，包括：

获取所述作业资源请求的请求标识以及预设对应关系，所述预设对应关系包括所述目标应用程序的不同的作业资源请求的请求标识与不同的资源请求集合的集合标识之间的对应关系；

基于所述作业资源请求的请求标识，在所述预设对应关系中查找所述作业资源请求对应的资源请求集合的集合标识；

将所述作业资源请求分配至查找到的所述集合标识所指示的资源请求集合中。

6.根据权利要求1～4任一项所述的YARN集群资源调度方法，其特征在于，所述方法还包括：

确定每个所述资源请求集合中的每个作业资源请求所请求的资源总量；

在所述资源总量大于预设资源量阈值时，为每个所述资源请求集合配置对应的资源上限数量；

在为每个所述资源请求集合中的作业资源请求分配对应的资源时，每次分配的资源的资源数量小于所述资源上限数量。

7.根据权利要求1～4任一项所述的YARN集群资源调度方法，其特征在于，所述启动所述批处理调度器来批处理每个所述资源请求集合中的所有作业资源请求，从而批量分配对应的一批资源，包括：

获取节点列表，所述节点列表包括所述集群中的至少部分或全部节点的空闲资源信息；

基于所述节点列表中的节点的空闲资源信息，为每个所述资源请求集合中的所有作业资源请求批量分配一批资源。

8.一种YARN集群资源调度系统，其特征在于，所述集群中配置有批处理调度器，所述系统包括：

请求接收模块，用于接收目标应用程序的作业资源请求；

请求分配模块，用于将所述作业资源请求分配至对应的资源请求集合中；其中，所述目标应用程序的不同的作业资源请求对应不同的资源请求集合；

资源分配模块，用于启动所述批处理调度器来批处理每个所述资源请求集合中的所有作业资源请求，从而批量分配对应的一批资源。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1～7任一项所述YARN集群资源调度方法的步骤。

10.一种计算机设备，其特征在于，包括：

处理器；以及

存储器，用于存储计算机程序；

其中，所述处理器配置为经由执行所述计算机程序来执行权利要求1～7任一项所述YARN集群资源调度方法的步骤。