[发明专利]一种多队列任务调度方法及相关系统和设备

说明书

技术领域

本发明涉及通信领域的数据处理技术，尤其涉及一种多队列任务调度方法及相关系统和设备。

背景技术

MapReduce是一种分布式的用于处理大规模数据集的并行编程系统，通过定义相应的映射(Map)和化简(Reduce)函数即可实现分布式数据处理的功能。MapReduce系统包括调度节点(JobTracker)和若干任务执行节点(TaskTracker)，其网络架构如图1所示，其中：客户端(Client)用于将用户布置的并行处理作业(Job)提交至调度节点；调度节点自动将客户端提交的作业分解为多个具有相同处理功能(但输入数据可能不同)的Map任务和多个具有相同处理功能(但处理的数据可能不同)的Reduce任务，其中，Map任务的输出数据作为Reduce任务的输入数据，并将任务调度给任务执行节点；任务执行节点向调度节点请求任务并执行请求到的任务，任务执行节点在任务执行之后向调度节点上报状态信息。

客户端将作业提交给MapReduce系统中的调度节点后，调度节点将作业插入一个作业队列，并负责作业的分解和任务的调度，调度节点可以维护一个或多个作业队列。现有技术中，提供了一种应用于MapReduce系统的多队列任务调度方案，由调度节点维护多个作业队列，每个作业被插入其中一个作业队列中，预先为每个作业队列分配集群资源的一部分作为配额资源，配额资源可以由作业队列随意支配，为所有作业队列分配的配额资源之外的自由资源可以分配给任意作业队列。调度节点从资源使用率(正在使用资源量与配额资源量之比)最低的作业队列中调度任务，针对任一作业队列，按照先进先出(FIFO)原则即按照作业提交的先后顺序调度相应作业的任务。

虽然作业队列内的作业具有优先级，但是现有技术中提供的应用于MapReduce系统的多队列任务调度方案，不支持队列的优先级，调度任务时仅考虑各作业队列的资源使用率以及作业队列内各作业提交的先后顺序，导致无法对各作业队列进行差异化资源配置，可能使得某些高优先级作业不能被及时调度运行，尤其是处于高资源使用率的作业队列中的高优先级作业不能被及时调度运行。

发明内容

本发明提供一种多队列任务调度方法以及数据处理系统和调度节点设备，用以解决现有多队列任务调度过程中不支持队列的优先级，导致无法对各作业队列进行差异化资源配置的问题。

本发明提供一种多队列任务调度方法，包括：

调度节点在接收到任务执行节点发送的任务获取请求时，判断是否存在资源使用率小于设定的使用率阈值的作业队列；

在判断结果为是时，所述调度节点从资源使用率小于所述使用率阈值的作业队列中调度任务给所述任务执行节点，在判断结果为否时，所述调度节点从优先级最高的作业队列中调度任务给所述任务执行节点。

本发明提供一种数据处理系统，包括调度节点和若干任务执行节点，所述调度节点维护多个作业队列，并且每个队列配置有优先级，其中：

所述任务执行节点，用于向所述调度节点发送任务获取请求；

所述调度节点，用于在接收到任务获取请求时，判断是否存在资源使用率小于设定的使用率阈值的作业队列，在判断结果为是时，从资源使用率小于所述使用率阈值的作业队列中调度任务给所述任务执行节点，在判断结果为否时，从优先级最高的作业队列中调度任务给所述任务执行节点。

本发明提供一种调度节点设备，包括控制模块、第一调度模块和第二调度模块，其中：

所述控制模块，用于在接收到任务执行节点发送的任务获取请求时，判断是否存在资源使用率小于设定的使用率阈值的作业队列，在判断结果为是时，触发所述第一调度模块，在判断结果为否时，触发所述第二调度模块；

所述第一调度模块，用于从资源使用率小于所述使用率阈值的作业队列中调度任务给所述任务执行节点；

所述第二调度模块，用于从优先级最高的作业队列中调度任务给所述任务执行节点。

本发明提供的多队列任务调度方法及相关系统和设备，在作业队列中引入优先级，使得在各作业队列的资源使用率均不小于设定的使用率阈值的情况下，从优先级最高的作业队列中调度任务，通过将自由资源优先分配给高优先级的作业队列，保证高优先级作业队列中的作业能够被及时调度运行；如果存在资源使用率小于使用率阈值的作业队列，则从上述作业队列中调度任务，通过需要回收资源的作业队列优先于无需回收资源的作业队列，使得各作业队列的配额资源得以保证，优化了系统的资源配置。