[发明专利]模型训练方法和装置

说明书

本发明公开了一种模型训练方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：获取模型训练任务的训练配置信息，所述训练配置信息包括：角色信息、环境信息及算法配置信息；根据所述角色信息，在容器平台的集群上创建相应个数的容器；根据所述环境信息，配置所述容器对应的节点的运行环境；利用模型训练框架，在所述节点上启动所述算法配置信息对应的训练模型；利用所述容器平台，调度所述容器，以使所述节点执行所述模型训练任务。该实施方式能够提升模型训练效率且减轻工作人员的工作量。

技术领域

本发明涉及计算机技术领域，尤其涉及一种模型训练方法和装置。

背景技术

现有技术中，工作人员通常通过本地物理机或者训练平台执行模型训练任务。本地物理机上执行训练任务的时间成本较高。而在训练平台上执行模型训练任务时，由于工作人员对分布式训练运行环境是无感知的，通常需要工作人员手动将训练模型部署到各工作节点上，这是十分复杂且耗时的。

发明内容

有鉴于此，本发明实施例提供一种模型训练方法和装置，能够自动将训练模型部署到各工作节点上，从而提升模型训练系统的部署效率且减轻工作人员的工作量。

第一方面，本发明实施例提供了一种模型训练方法，包括：

获取模型训练任务的训练配置信息，所述训练配置信息包括：角色信息、环境信息及算法配置信息；

根据所述角色信息，在容器平台的集群上创建相应个数的容器；

根据所述环境信息，配置所述容器对应的节点的运行环境；

利用模型训练框架，在所述节点上启动所述算法配置信息对应的训练模型；

利用所述容器平台，调度所述容器，以使所述节点执行所述模型训练任务。

可选地，所述节点执行所述模型训练任务，包括：

所述节点通过所述节点对应的容器向数据服务中心发送文件处理请求；

响应于所述文件处理请求，所述数据服务中心确定所述节点的下一批次文件信息，并将所述下一批次文件信息发送给所述节点；

所述节点获取所述下一批次文件信息对应的下一批次训练文件，并利用所述下一批次训练文件执行所述模型训练任务。

可选地，所述数据服务中心设置有针对每个所述节点的队列，所述队列中的元素用于表征所述节点未完成训练的训练文件；

所述数据服务中心确定所述节点的下一批次文件信息，包括：

根据所述文件处理请求，所述数据服务中心确定所述节点对当前批次的训练文件的处理状态；

在所述处理状态为处理成功的情况下，所述数据服务中心从所述节点对应的队列中删除目标元素，所述目标元素对应于所述当前批次的训练文件；

所述数据服务中心从所述节点对应的队列中，确定出所述节点的下一批次文件信息。

可选地，所述根据所述文件处理请求，所述数据服务中心确定所述节点对当前批次的训练文件的处理状态之后，还包括：

在所述处理状态为处理失败的情况下，根据所述数据服务中心中所述节点对应的队列中的元素，对所述节点进行容错处理。

可选地，所述数据服务中心设置有针对每个所述节点的队列，所述队列中的元素用于表征所述节点未完成训练的训练文件；

所述利用所述容器平台，调度所述容器之后，还包括：

在系统出现故障的情况下，获取所述数据服务中心中各所述节点对应的队列中的元素；

根据各所述节点对应的队列中的元素，对各所述节点进行容错处理。