[发明专利]基于GPU资源在人工智能与工程领域调度系统及优化算法

权利要求书

1.一种基于GPU资源在人工智能与工程领域的调度系统，其特征在于，包括：

人机交互模块，用于使操作者可视化操作，且将客户端操作3D模型的指令输送至服务器，服务器端计算3D模型的运算量后反馈回客户端，从而通过云计算的方式使得客户端操作3D模型与在服务器端操作3D模型无异；

资源管理模块，将能使用的GPU资源组建为GPU资源池，GPU资源池由数个节点构成，每个节点对应一台设备，每个节点GPU内部的多卡ID关系及节点GPU可用资源变化均实时反馈至GPU资源池，以便于资源管理模块动态管理；各GPU周期性向资源管理模块反馈使用状态，包括GPU空闲状态、GPU资源利用率、任务完成，资源管理模块获得任务完成信号后，会释放该GPU资源，以便于后续任务使用；

调度模块，对人机交互模块输入的任务进行运算量预算，根据预算的运算量分配GPU资源，以实现在提高运算速度和合理利用GPU资源之间的平衡。

2.如权利要求1所述的基于GPU资源在人工智能与工程领域的调度系统，其特征在于，调度模块的调度方式包括：

自主识别模型规模与匹配调度，根据输入的任务预算所需的算力，然后根据所需算力分配GPU资源进行运算；

先入先出，根据任务预算所需GPU资源后，根据每个节点的GPU资源匹配任务，优先将任务分配给同一节点，同时优先将任务分配至空闲GPU运算，当GPU对应多个任务时，依次排队运算；

最优解，根据任务量及当前GPU资源状态，在不影响其他任务计算的前提下选择最快运算的GPU资源；

优先级，按照紧急情况划分优先级级别，划分依据采用预设阈值；需要在任务中分配优先级时，直接在任务中赋予一个优先级参数，调度模块根据任务携带的优先级参数与各优先级阈值比对，换算任务优先级级别，然后根据优先级级别优先使用GPU资源，优先级默认按照最优解方式分配GPU资源，对于优先级较高的任务，则采用最短时间原则，优先占用最优GPU资源；

在对应GPU有优先权的优先运算优先权任务，对应GPU存在多个优先权的根据优先权参数值排队依次计算，对应GPU有多个优先权且优先权参数相等的，根据先进先出原则排队运算。

3.如权利要求2所述的基于GPU资源在人工智能与工程领域的调度系统，其特征在于，而模型量预算的方式主要有：

根据模型量预算，利用3D模型的数据量作为标准，预算完成指定任务所需运算量；

根据输入值预算，将操作者在客户端输入的运算量作为预算运算量；

根据运算量预算算法预算，建立运算量评估模型，利用大量的运算数据进行训练，使得运算量预算算法可与根据当前任务的特征自动估算所需运算量；

动态调节，在运算过程中，监控运算进度，如果运算进度低于预期则增加GPU资源，如果运算进度高于预期则适当减少GPU资源，以保证各个运算任务的快速、流畅进行。

4.一种基于GPU资源在人工智能与工程领域调度优化算法，其特征在于，包括：

S100、资源管理模块动态更新GPU资源池信息；

S200、操作者在客户端通过人机交互模块输入需要运算的任务，需要运算的任务上传至服务器端，服务器端转送至调度模块进行处理；

S300、调度模块首先检查任务中是否包含优先级参数，如果包含有优先级参数，则进入优先级调度，如果没有则进行普通的调度方式调度。

5.如权利要4所述的基于GPU资源在人工智能与工程领域调度优化算法，其特征在于，S100中还包括：

S110、周期性向各个GPU请求信息，各个GPU根据请求信息反馈信号，GPU资源池根据反馈的信号判断该GPU是否能正常使用，从而及时发现不能使用的GPU，以在后续的任务分配中避免使用该GPU；

S120、在各个节点的GPU数量增减时，该节点向GPU资源池发送更新信息，GPU资源池根据此信息更新该节点的GPU资源；

S130、在运算过程中，各节点收集其内部GPU的状态信息并周期性反馈至资源管理模块，GPU的状态信息包括GPU的空闲状态、GPU运行时的资源利用率、任务完成状态，资源管理模块获得任务完成状态信息后会释放该GPU的算力，从而进入下一任务的运算，且根据各GPU的状态对其进行任务指派。