[发明专利]计算资源调度方法、装置及电子设备

权利要求书

1.一种计算资源调度方法，其特征在于，所述方法由调度设备执行，所述方法包括：

在应用计算流程图对目标计算任务的待处理对象进行计算处理过程中，监测所述计算流程图中的各个计算节点的当前计算负荷；其中，所述计算流程图中包括多个计算节点和相互连接的所述计算节点之间的数据传输管道；所述计算节点用于通过所述调度设备中的线程执行所述目标计算任务的子任务，并将执行所述子任务后的数据通过所述数据传输管道传输至下游计算节点；所述数据传输管道包括数据输入管道和数据输出管道，所述数据输入管道是当前计算节点用于接收待处理数据的管道，所述待处理数据是上一级计算节点的输出数据；所述数据输出管道是当前计算节点用于输出目标数据的管道，所述目标数据是当前计算节点执行所述子任务后得到的数据；所述当前计算负荷是基于所述计算节点的数据输入管道对应的数据量和数据输出管道对应的数据量、所述计算节点通过线程进行数据处理的速度以及所述计算节点对应的线程执行所述计算节点中的子任务的预计消耗时间中的任意一种或多种确定的；

当目标计算节点的当前计算负荷达到预设的算力瓶颈状态时，向所述目标计算节点调度计算资源。

2.根据权利要求1所述的方法，其特征在于，所述计算流程图为预先通过以下方式构建：

获取目标计算任务的各个子任务，为各个所述子任务分配计算节点；

根据各个所述子任务之间的依赖关系设置各个所述计算节点之间的数据传输管道，得到所述目标计算任务的计算流程图。

3.根据权利要求2所述的方法，其特征在于，所述根据各个所述子任务之间的依赖关系设置各个所述计算节点之间的数据传输管道，得到所述目标计算任务的计算流程图的步骤，包括：

根据各个计算节点之间的数据流向关系设置数据传输管道；

通过以下方式中的至少一种设置数据传输管道的类型：

当存在第一目标计算节点时，将所述第一目标计算节点的数据输出管道设置为广播管道；其中，所述第一目标计算节点为将执行所述子任务后的数据同时传输至多个下一级计算节点的节点；

当存在第二目标计算节点时，将所述第二目标计算节点的数据输出管道设置为多支路管道；其中，所述第二目标计算节点为需要根据预设条件选择接收目标数据的下一级计算节点的节点，所述目标数据为所述第二目标计算节点执行所述子任务后产生的数据；

当存在第三目标计算节点时，将所述第三目标计算节点的数据输入管道设置为合并管道；其中，所述第三目标计算节点为能够接收多个上一级计算节点执行所述子任务后的数据的节点；

当存在第四目标计算节点时，将所述第四目标计算节点的数据输出管道设置为保序管道；其中，所述第四目标计算节点为数据的接收顺序与数据的输出顺序须保持一致的节点。

4.根据权利要求2所述的方法，其特征在于，所述获取目标计算任务的各个子任务，为各个所述子任务分配计算节点的步骤，包括：

判断各个所述子任务是否能进一步分裂为多个子任务；

如果是，将能够进一步分裂的子任务的计算节点对应分裂为多个计算节点。

5.根据权利要求1所述的方法，其特征在于，所述监测所述计算流程图中的各个计算节点的当前计算负荷的步骤，包括：

获取所述计算流程图中的各个计算节点的线程记录的日志信息；其中，所述日志信息包括各个所述线程在执行所述计算节点对应的子任务时接收或发送的数据信息以及各个所述线程执行所述子任务的时间信息；

根据各个所述线程记录的日志信息，确定各个所述计算节点的当前计算负荷。

6.根据权利要求5所述的方法，其特征在于，所述根据各个所述线程记录的日志信息，确定各个所述计算节点的当前计算负荷的步骤，包括：

根据各个所述线程记录的日志信息，确定各个所述计算节点的节点信息；其中，所述节点信息包括各个所述计算节点的数据输入管道对应的数据量和数据输出管道对应的数据量，各个计算节点通过线程进行数据处理的速度以及各计算节点对应的线程执行各个所述计算节点中的子任务的预计消耗时间中的任意一种或多种；

根据各个所述计算节点的节点信息确定对应计算节点的当前计算负荷。