[发明专利]多节点分布式系统中的任务调度装置和任务调度方法

权利要求书

1.一种多节点分布式系统中的任务调度装置，包括：

新任务池，用于存储新任务，所述新任务至少包括添加了依赖任务标记的新任务；

任务过滤器，用于从新任务池所存储的新任务中过滤出标记为空的任务；

过滤任务池，用于存储任务过滤器所过滤出的标记为空的任务；

任务分发器，用于针对过滤任务池所存储的每个任务，根据任务完成时间预测模型，来预测在处理节点集合中的每个处理节点上执行该任务所需的完成时间，并将该任务分配给预测出的完成时间最短的处理节点。

2.根据权利要求1所述的任务调度装置，还包括：

任务标记器，当新任务被提交到所述多节点分布式系统时，通过查询任务关联矩阵，找出该新任务的依赖任务，并为该新任务添加相应的依赖任务标记，并将添加了依赖任务标记的新任务放置到所述新任务池。

3.根据权利要求1所述的任务调度装置，其中，

在处理节点结束一个任务的执行之后，所述任务过滤器根据该处理节点的任务执行监控器发送来的关于该任务执行结束的信息，从依赖于该已执行任务的任务所具有的依赖任务标记中去除该已执行任务的标记。

4.根据权利要求1所述的任务调度装置，其中，

所述任务完成时间预测模型至少采用以下参数中的任一项：任务规模、处理节点硬件水平和处理节点负载。

5.根据权利要求4所述的任务调度装置，还包括：

用于存储处理节点执行的各任务的任务规模的任务规模表；

用于存储各处理节点的硬件水平的处理节点硬件水平表；以及

用于存储各处理节点上的负载的处理节点负载表。

6.根据权利要求5所述的任务调度装置，其中，所述任务规模表和所述处理节点负载表分别由所述任务分发器根据各处理节点的任务执行监控器发送来的相关信息进行更新。

7.根据权利要求1所述的任务调度装置，其中，

所述任务完成时间预测模型是基于处理节点执行任务时所记录的包括任务规模、处理节点负载的历史数据来进行训练校准的。

8.根据权利要求1所述的任务调度装置，其中，

所述任务完成时间预测模型包括：用于计算在该处理节点上执行该任务所需的执行时间的模型，以及用于计算该处理节点的响应时间的模型，其中，所述该处理节点的响应时间包括：在该处理节点上执行等待队列中的所有等待任务所需的执行时间、以及完成该处理节点上正在运行的当前任务所需的执行时间。

9.根据权利要求8所述的任务调度装置，还包括：

用于存储在该处理节点上开始执行当前任务后已花费时间的任务已花费时间表。

10.根据权利要求9所述的任务调度装置，其中，

所述任务已花费时间表由所述任务分发器根据各处理节点的任务执行监控器发送来的信息进行更新。

11.根据权利要求4所述的任务调度装置，其中，用于计算在该处理节点上执行该任务所需的执行时间的模型采用多元线性回归模型。

12.根据权利要求1所述的任务调度装置，其中，

所述任务规模至少包括以下任一项：程序步数、内存使用量、网络传输数据量和磁盘I/O数据量；

所述处理节点硬件水平至少包括以下任一项：CPU主频、内存大小、网络带宽和磁盘I/O速度；以及

所述处理节点负载至少包括以下任一项：CPU使用率、内存使用率、网络使用率和磁盘I/O使用率。

13.根据权利要求1所述的任务调度装置，其中，

所述标记为空的任务是不依赖于其他任务的独立任务。

14.根据权利要求1所述的任务调度装置，其中，

所述多节点分布式系统是网格系统。

15.一种在多节点分布式系统中进行任务调度的方法，包括：

从新任务池所存储的新任务中过滤出标记为空的任务，其中所述新任务至少包括添加了依赖任务标记的新任务；

针对过滤出的标记为空的每个任务，根据任务完成时间预测模型，来预测在处理节点集合中的每个处理节点上执行该任务所需的完成时间；以及

将该任务分配给预测出的完成时间最短的处理节点。