[发明专利]计算资源调度方法、装置及电子设备

说明书

本发明提供了一种计算资源调度方法、装置及电子设备，该方法由调度设备执行，该方法包括：在应用计算流程图对目标计算任务的待处理对象进行计算处理过程中，监测计算流程图中的各个计算节点的当前计算负荷；其中，计算流程图中包括多个计算节点和相互连接的计算节点之间的数据传输管道；计算节点用于通过调度设备中的线程执行目标计算任务的子任务，并将执行子任务后的数据通过数据传输管道传输至下游计算节点；当目标计算节点的当前计算负荷达到预设的算力瓶颈状态时，向目标计算节点调度计算资源。本发明能够在有限的计算资源条件下提升调度设备的计算效率。

技术领域

本发明涉及计算机技术领域，尤其是涉及一种计算资源调度方法、装置及电子设备。

背景技术

随着机器学习技术的日渐成熟，机器学习技术已经广泛应用于各个领域。由于在使用机器学习技术进行视频或图像处理时，诸如视频结构化，计算量较大，然而在计算资源(诸如调度设备的运算单元数或内存数不变)有限时，容易影响到计算速度，进而导致计算效率低下，为了尽可能地节省硬件成本，如何在有限的计算资源条件下提升调度设备的计算效率成为亟待解决的问题。

发明内容

有鉴于此，本发明的目的在于提供一种计算资源调度方法、装置及电子设备，能够在有限的计算资源条件下提升调度设备的计算效率。

为了实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明实施例提供了一种计算资源调度方法，所述方法由调度设备执行，所述方法包括：在应用计算流程图对目标计算任务的待处理对象进行计算处理过程中，监测所述计算流程图中的各个计算节点的当前计算负荷；其中，所述计算流程图中包括多个计算节点和相互连接的所述计算节点之间的数据传输管道；所述计算节点用于通过所述调度设备中的线程执行所述目标计算任务的子任务，并将执行所述子任务后的数据通过所述数据传输管道传输至下游计算节点；当目标计算节点的当前计算负荷达到预设的算力瓶颈状态时，向所述目标计算节点调度计算资源。

进一步，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述计算流程图为预先通过以下方式构建：获取目标计算任务的各个子任务，为各个所述子任务分配计算节点；根据各个子任务之间的依赖关系设置各个所述计算节点之间的数据传输管道，得到所述目标计算任务的计算流程图。

进一步，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述数据传输管道包括数据输入管道和数据输出管道；所述数据输入管道是当前计算节点用于接收待处理数据的管道；所述待处理数据是上一级计算节点的输出数据；所述数据输出管道是当前计算节点用于输出目标数据的管道；所述目标数据是当前计算节点执行所述子任务后得到的数据；所述根据各个所述子任务之间的依赖关系设置各个所述计算节点之间的数据传输管道，得到所述目标计算任务的计算流程图的步骤，包括：根据各个计算节点之间的数据流向关系设置数据传输管道；通过以下方式中的至少一种设置数据传输管道的类型：当存在第一目标计算节点时，将所述第一目标计算节点的数据输出管道设置为广播管道；其中，所述第一目标计算节点为将执行所述子任务后的数据同时传输至多个下一级计算节点的节点；当存在第二目标计算节点时，将所述第二目标计算节点的数据输出管道设置为多支路管道；其中，所述第二目标计算节点为需要根据预设条件选择接收目标数据的下一级计算节点的节点，所述目标数据为所述第二目标计算节点执行所述子任务后产生的数据；当存在第三目标计算节点时，将所述第三目标计算节点的数据输入管道设置为合并管道；其中，所述第三目标计算节点为能够接收多个上一级计算节点执行所述子任务后的数据的节点；当存在第四目标计算节点时，将所述第四目标计算节点的数据输出管道设置为保序管道；其中，所述第四目标计算节点为数据的接收顺序与数据的输出顺序须保持一致的节点。

进一步，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述获取目标计算任务的各个子任务，为各个所述子任务分配计算节点的步骤，包括：判断各个所述子任务是否能进一步分裂为多个子任务；如果是，将能够进一步分裂的子任务的计算节点对应分裂为多个计算节点。