[发明专利]最大化磁盘缓存效果的工作流作业调度装置及方法

权利要求书

1.一种工作流作业调度装置，包括：

资源概况管理单元，用于存储包括关于计算节点实际使用的资源数量的使用信息的、工作流的资源使用概况；

计算资源监控单元，用于当计算资源当前正执行预定作业时，测量关于计算资源的作业实际使用的计算资源的使用信息，并且向资源概况管理单元报告测量结果，以便更新资源使用概况；以及

作业划分单元，用于装载资源概况管理单元的资源使用概况，从计算节点中选择任意一个，确定能够由所选计算节点同时执行的作业的数目以及能够无需在所选计算节点中进行磁盘缓存释放操作就能使用的可用磁盘缓存的大小，确定输入文件的数目和大小，使得同时进行的作业要在磁盘缓存中缓存的文件大小之和小于可用磁盘缓存的大小，并且通过基于输入文件的确定数目和确定大小而分组或划分作业，来确定作业要在其上执行的计算节点。

2.如权利要求1所述的工作流作业调度装置，其中该计算资源监控单元周期性地或者在作业已结束后向该资源概况管理单元报告测量结果。

3.如权利要求1所述的工作流作业调度装置，其中该资源概况管理单元存储工作流的资源使用概况，所述资源使用概况包括对于构成工作流的单个作业管理的信息、关于当同时执行多个作业时使用的每个计算资源的数量的信息、以及关于当组合并且执行各个作业时所使用的每个计算资源的数量的信息中的一个或多个。

4.一种由调度装置执行的工作流作业调度方法，包括：

由资源概况管理单元装载资源使用概况；

从计算节点中选择任意一个；

确定能够由所选计算节点同时执行的作业数目、以及能够无需在所选计算节点中进行磁盘缓存释放操作就能使用的可用磁盘缓存的大小；

确定输入文件的数目和大小，使得同时进行的作业要在磁盘缓存中缓存的文件大小之和小于可用磁盘缓存的大小；以及

通过基于输入文件的确定数目和确定大小而分组或划分作业，来确定作业要在其上执行的计算节点。

5.如权利要求4所述的工作流作业调度方法，其中所述确定可用磁盘缓存的大小的步骤被配置为使用下列公式(1)确定可用磁盘缓存的大小(uDCS_i)：

uDCS_i＝PhyMem_i×DCFSU_i-sysMem_i-MAX(jobsMem)(1)

其中PhyMem_i表示所选计算节点的物理内存的大小，DCFSU_i表示所选计算节点的磁盘缓存释放操作开始时所用内存的百分比，sysMem_i表示紧靠在所选计算节点已启动后由系统使用的内存数量，以及jobsMem表示由任意作业使用的物理内存的大小。

6.如权利要求4所述的工作流作业调度方法，其中所述确定输入文件的数目和大小的步骤被配置为使用下列的公式(2)来计算同时进行的作业将要在磁盘缓存中缓存的文件的大小之和：

将要在磁盘缓存中缓存的文件的大小之和＝输入文件的大小之和×输入文件与所有文件的大小的比率+所有作业共同参考的文件的大小(2)。

7.如权利要求6所述的工作流作业调度方法，其中所述确定输入文件的数目和大小的步骤被这样配置，使得当在资源使用概况中不存在关于输入文件与所有文件的大小的比率的信息时，由用户键入所述输入文件与所有文件的大小的比率。

8.如权利要求4所述的工作流作业调度方法，其中所述选择任意一个计算节点的步骤被配置为以循环方式从计算节点中选择任意一个。

9.如权利要求4所述的工作流作业调度方法，其中所述确定能够同时执行的作业的数目的步骤包括：

基于关于所选计算节点的中央处理单元(CPU)的数目和CPU的利用率的信息，来计算同时进行的作业的最大数目；

基于关于所选计算节点的磁盘的利用率的信息，来计算同时进行的作业的最大数目；

基于关于所选计算节点所用内存的信息，来计算同时进行的作业的最大数目；

基于关于所选计算节点的网络带宽的利用率的信息，来计算同时进行的作业的最大数目；

将所计算的同时进行的作业的最大数目中的最小值确定为能够由所选计算节点同时执行的作业的数目。