[发明专利]批处理作业中运行时间的预测方法、装置和电子设备

说明书

本发明提出一种批处理作业中运行时间的预测方法、装置和电子设备，其中，方法包括：获取多个批处理作业样本对应的多组训练数据；采用关键路径算法根据子运行时间确定每组训练数据对应的关键路径；确定训练数据的第一日期特征与关键路径的第一节点信息间的对应关系；根据关键路径及子运行时间确定关键路径对应的关键运行时间；基于第一节点信息与关键运行时间对深度学习模型进行训练，得到训练出的深度学习模型；根据对应关系及训练出的深度学习模型，对待预测批处理作业的运行时间进行预测。该方法通过执行上述步骤，结合关键路径和模型训练实现了批处理作业中的运行时间，不仅提高了预测效率，而且避免了人为预测引起的偏差，提升了工作效率。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种批处理作业中运行时间的预测方法、装置和电子设备。

背景技术

批处理作业,又称为批次处理作业，是指在计算机上无须人工干预而执行系列程序的任务。这些任务通常有相同的特点，即运行很长时间,然后周期性执行(例如,几乎每天执行一次).在很多诸如银行的金融机构中，每天都有上万笔批处理任务需要执行,运维人员往往需要耗费大量的时间来管理这些批处理任务，保证业务的正常运转。

近年来由于云计算技术的日益成熟，许许多多的行业开始在云上部署批处理任务。为了提高资源利用率，最常见的策略就是将批处理任务和其他在线服务共同部署在一个模块。不可避免地，由于所处的运行环境不同，以及工作负载不同，不同批处理任务的运行时间长短不同。

相关技术中，一般来说运维人员对于批处理作业的运行时间有一个预期，因为运行时间对于业务操作至关重要。如果运行时间超过了运维人员的预期，他们需要手动地给当前系统扩容,即分配更多的资源(CPU核心或者内存)，重新启动批处理任务的剩余部分。然而，一方面这个运行时间的预期是经验性的，运维人员往往会设置一个较大的截止时间，这就导致了批处理作业不能被及时加速；另一方面，批处理作业数量众多，部署环境各异,运行时间差异很大，为每一个批处理作业设置特定的截止时间是很困难的。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

本发明第一方面实施例提出了一种批处理作业中运行时间的预测方法，包括：

获取多个批处理作业样本对应的多组训练数据，其中，每组训练数据包括每个所述批处理作业样本包含的子任务对应的子运行时间；

采用关键路径算法根据所述子运行时间确定每组所述训练数据对应的关键路径；

确定所述训练数据的第一日期特征与所述关键路径的第一节点信息间的对应关系；

根据所述关键路径及所述子运行时间确定所述关键路径对应的关键运行时间；

基于所述第一节点信息与所述关键运行时间对深度学习模型进行训练，得到训练出的深度学习模型；

根据所述对应关系及所述训练出的深度学习模型，对待预测批处理作业的运行时间进行预测。

根据本发明的一个实施例，所述采用关键路径算法根据所述子运行时间确定每组所述训练数据对应的关键路径，包括：

将每个所述子任务、及所述子任务对应的前继任务的名称以邻接表的形式存储；

对邻接表中的数据进行处理，以使所述邻接表中的各个节点构成有向无环图；

根据所述子运行时间确定所述邻接表中每个任务在一天内的第一运行时间；

将所述邻接表和所述第一运行时间输入关键路径计算函数；

采用宽度优先搜索遍历所述邻接表中的各个节点，直至得到关键路径。

根据本发明的一个实施例，所述根据所述关键路径及所述子运行时间确定所述关键路径对应的关键运行时间，包括：