[发明专利]一种任务调度方法和装置

权利要求书

1.一种任务调度方法，其特征在于，该方法包括：

对用户的任意一个任务设置相应的CPU资源需求和内存资源需求，并预测该任务的完成时间；

预测用户能够同时运行的任务数，使得YARN平台中每一个用户的支配份额比相同；

根据用户的总任务数、预测的任务的完成时间和预测的用户能够同时运行的任务数计算作业完成的总时间；

在预设的CPU资源需求范围和内存资源需求范围内，改变设置的CPU资源需求和内存资源需求，重复上述步骤，直到计算得到的作业完成的总时间最小；

所述预测任务的完成时间包括：

生成实例库，实例库保存有实例的特征值和该实例在不同的CPU资源需求和内存资源需求时的运行时间；

查找实例库中与设置的所述任务的CPU资源需求和内存资源需求均相同的实例；

计算查找到的实例的特征值和所述任务的特征值的相似度，将相似度最大的实例的运行时间作为所述任务的完成时间。

2.根据权利要求1所述的任务调度方法，当查找不到所述实例库中与设置的所述任务的CPU资源需求和内存资源需求均相同的实例时，该方法还包括：

查找实例库中与设置的所述任务的CPU资源需求或内存资源需求相同的实例。

3.根据权利要求1所述的任务调度方法，所述特征值包括映射Map/化简Reduce、任务类型、数据量和复杂度。

4.根据权利要求3所述的任务调度方法，当查找不到所述实例库中与设置的所述任务的CPU资源需求或内存资源需求均相同的实例时，该方法还包括：

根据所述任务的任务类型将所述实例库中的默认实例的运行时间作为所述任务的完成时间。

5.根据权利要求1所述的任务调度方法，所述支配份额比为用户的CPU资源使用量/min(用户的总CPU资源需求量，理论公平CPU资源量)，和用户的内存资源使用量/min(用户的总内存资源需求量，理论公平内存资源量)的最大值，其中，理论公平CPU资源量＝全局CPU资源总量/用户数，理论公平内存资源量＝全局内存资源总量/用户数；其中，min表示取最小值。

6.根据权利要求5所述的任务调度方法，所述根据资源分配比预测用户能够同时运行的任务数包括：

当所述支配份额比为用户的CPU资源使用量/min(用户的总CPU资源需求量，理论公平CPU资源量)时，用户能够同时运行的任务数＝(用户的总CPU资源需求量-用户的CPU资源使用量)*(1-CPU资源分配比)/任务的CPU资源需求；

当所述支配份额比为用户的内存资源使用量/min(用户的总内存资源需求量，理论公平内存资源量)时，用户能够同时运行的任务数＝(用户的总内存资源需求量-用户的内存资源使用量)*(1-内存资源分配比)/任务的内存资源需求。

7.根据权利要求1所述的任务调度方法，所述作业完成的总时间T为：

T＝tN/k

其中，N为所述用户的总任务数，t为预测的任务的完成时间，k为预测的用户能够同时运行的任务数。

8.一种任务调度装置，其特征在于，至少包括：

配置模块，用于对用户的任意一个任务设置相应的CPU资源需求和内存资源需求；

预测模块，用于根据设置的任务的CPU资源需求和内存资源需求，预测该任务的完成时间；预测用户能够同时运行的任务数，使得YARN平台中每一个用户的支配份额比相同；

计算模块，用于根据用户的总任务数、预测的任务的完成时间和预测的用户能够同时运行的任务数计算作业完成的总时间；

重复模块，用于在预设的CPU资源需求范围和内存资源需求范围内，改变设置的CPU资源需求和内存资源需求，将改变的CPU资源需求和内存资源需求发送给预测模块，直到计算得到的作业完成的总时间最小；

还包括：

生成模块，用于生成实例库，实例库保存有实例的特征值和该实例在不同的CPU资源需求和内存资源需求时的运行时间；

所述预测模块，具体用于：

查找实例库中与设置的所述任务的CPU资源需求和内存资源需求均相同的实例；计算查找到的实例的特征值和所述任务的特征值的相似度，将相似度最大的实例的运行时间作为所述任务的完成时间。