[发明专利]一种共性技术模型训练调度方法、装置及可读存储介质

说明书

本发明公开了一种共性技术模型训练调度方法、装置及可读存储介质，其中方法包括监测用户输入的训练参数；按照预设周期根据所述训练参数匹配目标机器节点；通过所述目标机器节点执行所述训练参数对应的训练任务。本发明实施例通过按照预设周期根据训练参数匹配目标机器节点，并通过目标机器节点执行训练参数对应的训练任务，由此优化了现有的模型训练流程，能够根据给定的训练参数匹配到相应的资源，从而实现模型训练的自动化。

技术领域

本发明涉及AI模型训练领域，尤其涉及一种共性技术模型训练调度方法、装置及可读存储介质。

背景技术

移动互联网后时代，AI成为下一个经济发展的风口，已是不争的事实，诸如人脸门禁、自动驾驶、无人机、语音音箱等产品，都已慢慢进入我们的生活中。

现有技术中AI模型训练成为技术人员每天都需要打交道的事情，但目前研发人员都是人工手动训练，存在以下问题：

1)不同的模型，需要搭建不同的运行环境，耽误时间；

2)不同的模型，训练需要的资源(如GPU卡)不同，无法做到自动调度，需要人为指定，易出错。

发明内容

本发明实施例提供一种共性技术模型训练调度方法、装置及可读存储介质，用以实现模型训练的自动化，缩短模型研发人员的调试时间，提高生产力。

第一方面，本发明实施例提供一种共性技术模型训练调度方法，包括：

监测用户输入的训练参数；

按照预设周期根据所述训练参数匹配目标机器节点；

通过所述目标机器节点执行所述训练参数对应的训练任务。

可选的，监测训练参数之前，所述方法还包括：

根据各个训练模型的基础运行环境进行调度配置。

可选的，根据各个训练模型的基础运行环境进行调度配置之前，所述方法包括：

对各个训练模型的所述基础运行环境进行分类；

根据分类结果，基于所述基础运行环境对应的依赖包进行镜像制作；

将制作完成的镜像存储至镜像库中。

可选的，根据各个训练模型的基础运行环境进行调度配置，包括：

根据各个训练模型的基础资料在调度平台上添加对应的训练模型；

基于所述训练模型获取用户上传的对应的模型关联数据；

其中，所述模型关联数据至少包括如下之一：数据集和算法代码。

可选的，监测用户输入的训练参数，包括：

获取用户选取的目标训练模型以及对应的训练参数；

其中，所述训练参数至少包括如下之一：运行周期、基础运行环境、显卡、数据集、资源占用和限制条件。

可选的，按照预设周期根据所述训练参数匹配目标机器节点，包括：

根据所述训练参数配置定时器队列；

在轮询所述定时器队列确定当前环境资源满足所述训练参数对应的训练任务的情况下，根据所述训练参数查询目标机器节点，并根据所述目标机器节点从所述镜像库中下载对应的基础运行环境镜像；

若超过定时器的定时值仍未完成对应的训练任务，则取消所述训练任务。

可选的，按照预设周期根据所述训练参数匹配目标机器节点之后，所述方法还包括：