[发明专利]基于GPU资源在人工智能与工程领域调度系统及优化算法

说明书

本发明公开了一种基于GPU资源在人工智能与工程领域调度系统及优化算法，其调度系统包括：人家交互模块，用于使操作者可视化操作；资源管理模块，将能使用的GPU资源组建为GPU资源池，GPU资源池由数个节点构成，每个节点对应一台设备，每个节点GPU的内部多卡ID关系及节点GPU可用资源变化均实时反馈至GPU资源池，以便于资源管理模块动态管理；各GPU周期性向资源管理模块反馈使用状态，包括GPU空闲状态、GPU资源利用率、任务完成，资源管理模块获得任务完成信号后，会释放该GPU资源，以便于后续任务使用；调度模块，对人机交互模块输入的任务进行运算量预算，根据预算的运算量分配GPU资源，以实现在提高运算速度和合理利用GPU资源之间的平衡。

技术领域

本发明涉及计算机技术，特别是涉及一种基于GPU资源在人工智能与工程领域调度优化算法。

背景技术

对人工智能与工程领域计算平台上的GPU资源需求，基于GPU不同于CPU的特性，在一定规格的服务器上CPU数量时恒定的，而GPU在每台服务器上的数量极有可能不一致，而传统的基于CPU的调度方式，能够基于恒定数量的CPU资源进行调度，但是无法调度数量不确定的GPU资源，这就使得传统的CPU资源调度技术不适用于GPU资源调度。

目前，GPU资源调度的技术主要有：Nvidia GPU Docker、Slurm，Nvidia GPUDocker技术能够实现批处理调度，但是无法实现交互式高性能调度，没有优先级调度算法；Slurm属于开源技术，调度算法弱，无交互式与优先级。这两种技术均由国外研发，使用广泛，客户群体广，但局限于调度CPU，无法满足专业领域使用的不同节点不同GPU数量的调度要求，更无法跨节点调度GPU，而且都是国外研发，存在安全隐患。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是提供一种基于GPU资源在人工智能与工程领域调度系统及优化算法，其能够实现对GPU资源的高效调度。

为实现上述目的，本发明提供了一种基于GPU资源在人工智能与工程领域调度系统，包括：

人家交互模块，用于使操作者可视化操作，且将客户端操作3D模型的指令输送至服务器，服务器端计算3D模型的运算量后反馈回客户端，从而通过云计算的方式使得客户端操作3D模型与在服务器端操作3D模型无异；

资源管理模块，将能使用的GPU资源组建为GPU资源池，GPU资源池由数个节点构成，每个节点对应一台设备，每个节点GPU的内部多卡ID关系及节点GPU可用资源变化均实时反馈至GPU资源池，以便于资源管理模块动态管理；各GPU周期性向资源管理模块反馈使用状态，包括GPU空闲状态、GPU资源利用率、任务完成，资源管理模块获得任务完成信号后，会释放该GPU资源，以便于后续任务使用；

调度模块，对人机交互模块输入的任务进行运算量预算，根据预算的运算量分配GPU资源，以实现在提高运算速度和合理利用GPU资源之间的平衡。

进一步地，调度模块的调度方式包括：

1）自主识别模型规模与匹配调度，根据输入的任务预算所需的算力，然后根据所需算力分配GPU资源进行运算；

2）先入先出，根据任务预算所需GPU资源后，根据每个节点的GPU资源匹配任务，优先将任务分配给同一节点，同时优先将任务分配至空闲GPU运算，当GPU对应多个任务时，依次排队运算；

3）最优解，根据任务量及当前GPU资源状态，在不影响其他任务计算的前提下选择最快运算的GPU资源；

4）优先级，按照紧急情况划分优先级级别，划分依据采用预设阈值；需要在任务中分配优先级时，直接在任务中赋予一个优先级参数，调度模块根据任务携带的优先级参数与各优先级阈值比对，换算任务优先级级别，然后根据优先级级别优先使用GPU资源，优先级默认按照最优解方式分配GPU资源，对于优先级较高的任务，则采用最短时间原则，优先占用最优GPU资源；