[发明专利]一种任务资源调整方法和装置

说明书

本发明实施例提供了一种任务资源调整方法和装置，可用于人工智能技术领域，所述方法包括：根据匹配出的初始任务资源运行当前任务；若任务运行失败，对获取的任务日志进行失败原因预测，生成资源预测结果；若资源预测结果为真，根据任务日志，对初始任务资源进行调整，能够提高任务运行效率和任务运行成功率，降低对人工的学习要求。

技术领域

本发明涉及计算机技术领域，特别涉及人工智能技术领域，尤其涉及一种任务资源调整方法和装置。

背景技术

在执行大数据任务的过程中，需要对运行资源进行合理设置，以避免大数据任务由于资源设置不当导致任务失败。相关技术中，建模人员根据数据源数量及数据处理逻辑，通过多次提交任务的运行情况来估计，并在运行报错后分析日志，根据日志情况分析报错原因以及决定是否调整申请的资源。随着数据处理能力的提高，单次可运行的大数据任务也越来越多，手工调整任务运行资源的方式效率较低，并且资源设置依赖于建模人员的经验，提高了机器学习平台的使用门槛。同时由于整体任务是定时运行，每次任务数据量并不相同，导致单一的运行资源不能满足多次不同数据量的任务运行，需要多次人工干预，调整运行资源，效率和任务运行成功率均较低。

发明内容

本发明的一个目的在于提供一种任务资源调整方法，能够提高任务运行效率和任务运行成功率，降低对人工的学习要求。本发明的另一个目的在于提供一种任务资源调整装置。本发明的再一个目的在于提供一种计算机可读介质。本发明的还一个目的在于提供一种计算机设备。

为了达到以上目的，本发明一方面公开了一种任务资源调整方法，包括：

根据匹配出的初始任务资源运行当前任务；

若任务运行失败，对获取的任务日志进行失败原因预测，生成资源预测结果；

若资源预测结果为真，根据任务日志，对初始任务资源进行调整。

优选的，在根据匹配出的初始任务资源运行当前任务之前，还包括：

根据当前任务的任务类型，从历史运行成功记录中匹配出相同任务类型的历史任务资源；

将匹配出的历史任务资源确定为初始任务资源。

优选的，通过对获取的任务日志进行失败原因预测，生成资源预测结果，包括：

对任务日志进行关键信息提取，得到关键语句；

通过开源快速分类文本模型，对关键语句进行失败原因预测，生成资源预测结果。

优选的，通过开源快速分类文本模型，对关键语句进行失败原因预测，生成资源预测结果，包括：

将关键语句输入开源快速分类文本模型，输出资源问题概率；

若资源问题概率大于或等于设置的概率阈值，生成的资源预测结果为真；

若资源问题概率小于概率阈值，生成的资源预测结果为假。

优选的，根据任务日志，对初始任务资源进行调整，包括：

通过设置的调整规则，根据任务日志匹配出资源调整方向；

按照资源调整方向，根据设置的调整比例对初始任务资源进行调整。

优选的，在根据任务日志，对任务资源进行调整之后，还包括：

将调整后的任务资源确定为当前任务的当前任务资源；

根据当前任务资源重新运行当前任务；

若任务运行失败，重复执行对获取的任务日志进行失败原因预测，生成资源预测结果的步骤。

优选的，资源调整方向为减少；