[发明专利]作业实际运行时间的预测方法

权利要求书

1.一种作业实际运行时间的预测方法，其特征在于，包括：

采集历史数据，从而计算每一用户的估计运行时间准确率分布，即R值分布；

根据每一用户的R值分布对所有用户进行聚类；

对于待预测的新作业，根据新作业所属的用户及聚类结果，提取相应用户所属类别下所有用户的历史数据作为训练数据；

利用训练数据中各作业的作业特征训练用于预测R值的多个不同类型的预测模型；

将新作业中的作业特征分别输入至每一训练好的预测模型中，并综合所有预测模型的输出结果计算新作业的R值，进而预测新作业实际运行时间。

2.根据权利要求1所述的一种作业实际运行时间的预测方法，其特征在于，对于每一用户的每一个历史作业计算相应的R值，去掉R值小于0的作业；再将每一用户的所有作业的R值按照从小到大进行排序，从而构成每一个用户的R值分布；其中，R值计算公式为：

其中，T_real表示当前作业实际的运行时间，T_est表示用户估计的当前作业运行时间。

3.根据权利要求1所述的一种作业实际运行时间的预测方法，其特征在于，所述根据每一用户的R值分布对所有用户进行聚类包括：

一个用户的R值分布，取它的百分位点，构成一个100维的向量；然后将这一向量作为相应用户的特征，采用层次聚类技术进行用户聚类，从而确定每一用户所述的类别。

4.根据权利要求1所述的一种作业实际运行时间的预测方法，其特征在于，所述作业特征包括：用户特征、作业泛属性特征，作业内在特征；其中：

用户特征包括：用户正确预测作业运行时间的概率、用户错误预测作业运行时间的概率及用户取消作业的概率；

作业泛属性特征包括：用户估计的CPU核数、用户作业提交的等待队列、用户估计的作业运行时间、用户提交时间以及用户是否取消了该作业；

作业的内在特征包括：从作业的输入文件中提取的作业的程序参数。

5.根据权利要求4所述的一种作业实际运行时间的预测方法，其特征在于，用户正确预测作业运行时间的概率的计算公式为：

其中，RE_ij为第i个用户在第j个作业之前正确预测作业运行时间的概率；Before_ij为第i个用户在第j个作业之前提交的作业数目，即等于j-1；Correct_ij为第i个用户在第j个作业之前提交的作业中正确预测作业运行时间的数目，C_ik表示第i个用户的第k个作业是否被正确预测，表示第k个作业实际的运行时间，表示用户估计的第k个作业运行时间，τ₁为设定的第一阈值；

用户错误预测作业运行时间的概率的计算公式为：

其中，ER_ij为第i个用户在第j个作业之前错误预测作业运行时间的概率；Error_ij为第i个用户在第j个作业之前提交的作业中错误预测作业运行时间的数目，E_ik表示第i个用户的第k个作业是否被错误预测，τ₂为设定的第二阈值；

用户取消作业的概率的计算公式为：

其中，CA_ij为第i个用户在第j个作业之前取消作业的概率；Cancel_ij为第i个用户在第j个作业之前提交的作业中取消作业的数目，Can_ik表示第i个用户的第k个作业是否取消。

6.根据权利要求1所述的一种作业实际运行时间的预测方法，其特征在于，利用训练数据中各作业的作业特征训练用于预测R值的多个不同类型的预测模型时，对于每一个作业，将相应的作业特征作为预测模型的输入，将相应的作业对应的R值作为目标变量，采用boostrap算法，分别获取随机森林回归模型，线性回归模型和支持向量回归模型的训练数据；

然后，利用相应的训练数据来训练对应的预测模型。