[发明专利]作业实际运行时间的预测方法

说明书

本发明公开了一种作业实际运行时间的预测方法，包括：采集历史数据，从而计算每一用户的估计运行时间准确率分布，即R值分布；根据每一用户的R值分布对所有用户进行聚类；对于待预测的新作业，根据新作业所属的用户及聚类结果，提取相应用户所属类别下所有用户的历史数据作为训练数据；利用训练数据中各作业的作业特征训练用于预测R值的多个不同类型的预测模型；将新作业中的作业特征分别输入至每一训练好的预测模型中，并综合所有预测模型的输出结果计算新作业的R值，进而预测新作业实际运行时间。该方法一定程度上改善基于作业历史和基于作业内在特征的建模方法的局限性，使得作业的运行时间预测更加的准确。

技术领域

本发明涉及高性能作业性能预测技术领域，尤其涉及一种作业实际运行时间的预测方法。

背景技术

在高性能计算领域，对提交的作业进行运行时间预测是一项非常重要的研究。准确的预测高性能计算作业的运行时间，对于资源的合理分配和作业的合理调度有非常重要的意义。

一种常用于作业运行时间预测的方法是基于作业历史的预测。基于作业历史的预测指的是，利用计算平台上历史运行作业的信息对当前提交的作业进行运行时间预测。运行作业的信息指的是作业泛属性即作业所用的CPU核数、用户估计作业运行时间、用户作业提交的等待队列等属性。当前基于作业历史的运行时间预测的建模主要有三种方法。其一是利用作业之间的相似性，这种研究方法通过在历史任务数据中找到和当前最相似的任务，然后再利用这些相似的任务来预测当前任务的运行时间。其二是使用回归方法，这种研究方法通过构建各种回归模型比如线性回归模型，从而对新任务进行运行时间预测。其三是利用用户估计运行时间准确率，这种方法不是直接预测作业的运行时间而是通过预测用户估计时间的准确性间接的预测作业的运行时间。它所基于的公式为：用户估计运行时间准确率＝作业实际的运行时间/用户估计时间。基于作业历史的预测，这类研究方法的局限性主要在于作业泛属性和作业运行时间的关联性无法保证。

另一种常用于作业运行时间预测的方法是基于作业内在特征的预测。用户提交的运行作业有其内在的特征，比如输入参数，输入文件，配置参数，通信过程以及资源等。基于作业内在特征的预测指的是，利用作业内在的特征作为输入，然后利用各类算法比如机器学习算法进行作业运行时间预测。这类研究方法的局限性在于，它只适用与内在特征和运行时长有明确关系的一类作业。

发明内容

本发明的目的是提供一种作业实际运行时间的预测方法，可以准确实现作业实际运行时间的预测。

本发明的目的是通过以下技术方案实现的：

一种作业实际运行时间的预测方法，包括：

采集历史数据，从而计算每一用户的估计运行时间准确率分布，即R值分布；

根据每一用户的R值分布对所有用户进行聚类；

对于待预测的新作业，根据新作业所属的用户及聚类结果，提取相应用户所属类别下所有用户的历史数据作为训练数据；

利用训练数据中各作业的作业特征训练用于预测R值的多个不同类型的预测模型；

将新作业中的作业特征分别输入至每一训练好的预测模型中，并综合所有预测模型的输出结果计算新作业的R值，进而预测新作业实际运行时间。

由上述本发明提供的技术方案可以看出，从用户建模的角度出发，根据R值分布对用户进行了聚类，后续过程中不是直接预测作业的运行时间而是通过预测R值的大小间接的预测作业的运行时间，本发明能在一定程度上改善基于作业历史和基于作业内在特征的建模方法的局限性，使得作业的运行时间预测更加的准确。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。