[发明专利]基于AI平台的GPU资源调度方法、装置及介质

权利要求书

1.基于AI平台的GPU资源调度方法，其特征在于包括如下步骤：

对实际的GPU资源进行资源均分，在每个均分的GPU资源上均安装Docker，每个Docker内均安装TensorFlow，TensorFlow对外提供服务地址，资源服务的地址至少两个，其中一个地址提供推理服务，其它的地址提供机器学习训练服务；

设置Docker服务资源表、Docker服务队列表和训练结果表，并初始化Docker服务资源表，所述Docker服务资源表中定义有资源服务，资源状态默认为空闲；

监控到有深度学习任务提交时，判断是否存在空闲的Docker服务资源，如果是，获取空闲的Docker服务资源执行深度学习任务，如果否，插入Docker服务队列表进行排队；同时，通过定时任务监听Docker服务资源的释放，实时更新Docker服务资源表和训练结果表，并查询Docker服务队列表，为最先等待的用户分配Docker服务资源执行深度学习任务后，从Docker服务队列表中删除所述最先等待的用户，以更新Docker服务队列表；

其中，通过如下步骤判断是否存在空闲的Docker服务资源：

查询Docker服务队列表，判断Docker服务队列表是否为空；

如果为空，查询Docker服务资源表是否存在空闲资源；

如果不为空，Docker服务资源表中不存在空闲资源；

其中，获取空闲的Docker服务资源执行深度学习任务，包括如下步骤：

获取当前空闲资源服务的地址，从当前所有空闲的机器学习训练任务中选择一个执行深度学习任务，并将Docker服务资源表的资源状态标识为在用；

所述深度学习任务结束后，将Docker服务资源表的资源状态标识为空闲；

其中，通过定时任务监听Docker服务资源的释放，实时更新Docker服务资源表和训练结果表，包括如下步骤：

监听Docker服务资源的使用情况；

对于在用状态的Docker服务资源，实时监控对应深度学习训练任务的执行过程并获取训练过程信息，将训练过程信息存储至训练结果表；

深度学习训练任务执行完毕，对应的Docker服务资源释放后，实时将上述训练结果信息存储至训练结果表，并实时更新Docker服务资源表的资源状态。

2.根据权利要求1所述的基于AI平台的GPU资源调度方法，其特征在于Docker服务队列表中定义有用户、参数、模型和数据地址。

3.根据权利要求1所述的基于AI平台的GPU资源调度方法，其特征在于通过轮训的方式实时监听Docker服务资源。

4.装置，其特征在于，包括：至少一个存储器和至少一个处理器；

所述至少一个存储器，用于存储机器可读程序；

所述至少一个处理器，用于调用所述机器可读程序，执行权利要求1至3任一所述的方法。

5.介质，为计算机可读介质，其特征在于，所述计算机可读介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器执行权利要求1至3任一所述的方法。