[发明专利]一种作业执行方法及装置

说明书

本发明提供一种作业执行方法及装置，包括：收集待执行作业的信息，信息包括：优先级信息、作业状态信息，以及所在客户机的资源信息；将待执行作业的信息输入预先训练的图神经网络模型中，获取待执行作业的执行分数以及待执行作业对应的客户机；而后，根据待执行作业的执行分数，在待执行作业对应的客户机上执行该待执行作业。这样，通过将待执行作业的信息输入预先训练的图神经网络模组中后，获取待执行作业的执行分数，从而能够结合动态变化的作业影响因素，快速决策出待执行作业的选择顺序，而后根据待执行作业的选择顺序在待执行作业对应的客户机上依次执行待执行作业，进而最大化利用资源进行优先级需求高的作业加工，满足大数据加工需求。

技术领域

本发明涉及计算机技术领域，特别涉及一种作业执行方法及装置。

背景技术

随着大数据技术的发展，数据总量积累到PB级，使得将数据加工过程拆分为作业任务后，作业任务数量达到十万多个，庞大的作业任务数量复杂了作业依赖关系，增加了作业选择难度，容易造成高时效要求的作业排队时间过长，数据无法在规定时间内完成。同时，由于大数据平台调度客户机资源有限，无法满足所有可执行作业同时执行，也会加剧作业排队和执行时长。

因而，目前优先执行时效要求较高的作业，即时效要求较高的作业的优先级较高，以在一定程度上减小作业排队和执行时长过长造成的损失，但是作业的优先级处于动态变化中，可能平时优先级较低的作业在特殊时点会将优先级提升至最高级别。因而仅仅依赖于作业优先级进行作业选择，可能导致处理数据量大的优先级别非最高级的作业无法在时效要求下完成。同时，随着大数据平台的不断建设，影响作业选择的影响因素可能会不断变化。

因此，能够根据动态变化的作业影响因素，快速决策出所有待执行作业的选择顺序，据此进行作业执行，从而最大化利用资源进行优先级需求高的作业加工，满足大数据加工需求，是目前大数据平台调度系统亟需研究的问题。

发明内容

有鉴于此，本发明的目的在于提供一种作业执行方法及装置，能够根据动态变化的作业影响因素，快速决策出待执行作业的选择顺序。

为实现上述目的，本发明有如下技术方案：

一种作业执行方法，包括：

收集待执行作业的信息，所述信息包括：优先级信息、作业状态信息，以及所在客户机的资源信息；

将所述待执行作业的信息输入预先训练的图神经网络模型中，获取所述待执行作业的执行分数以及所述待执行作业对应的客户机；

根据所述待执行作业的执行分数，在所述待执行作业对应的客户机上执行所述待执行作业。

可选的，所述在所述待执行作业对应的客户机上执行所述待执行作业包括：

当所述执行机对应的客户机当前的资源信息小于最大阈值时，在所述待执行作业对应的客户机上执行所述待执行作业；

还包括：

若所述待执行作业对应的客户机当前的资源信息等于所述最大阈值时，将所述待执行作业的信息重新输入所述预先训练的图神经网络模型中，重新获取对应的客户机。

可选的，所述图神经网络模型的训练过程包括：

获取图神经网络模型的训练集，所述训练集包括历史执行作业的信息、所述历史执行作业的执行分数以及所述历史执行作业对应的客户机；

所述历史执行作业的信息包括：所述历史执行作业的优先级信息、作业状态信息以及所在客户机的资源信息；所述历史执行作业的分数是根据所述历史执行作业的优先级、作业状态信息获得；

利用所述训练集确定所述图神经网络模型的模型参数。