[发明专利]模型训练方法和装置

权利要求书

1.一种模型训练方法，其特征在于，包括：

获取模型训练任务的训练配置信息，所述训练配置信息包括：角色信息、环境信息及算法配置信息；

根据所述角色信息，在容器平台的集群上创建相应个数的容器；

根据所述环境信息，配置所述容器对应的节点的运行环境；

利用模型训练框架，在所述节点上启动所述算法配置信息对应的训练模型；

利用所述容器平台，调度所述容器，以使所述节点执行所述模型训练任务。

2.根据权利要求1所述的方法，其特征在于，所述节点执行所述模型训练任务，包括：

所述节点通过所述节点对应的容器向数据服务中心发送文件处理请求；

响应于所述文件处理请求，所述数据服务中心确定所述节点的下一批次文件信息，并将所述下一批次文件信息发送给所述节点；

所述节点获取所述下一批次文件信息对应的下一批次训练文件，并利用所述下一批次训练文件执行所述模型训练任务。

3.根据权利要求2所述的方法，其特征在于，所述数据服务中心设置有针对每个所述节点的队列，所述队列中的元素用于表征所述节点未完成训练的训练文件；

所述数据服务中心确定所述节点的下一批次文件信息，包括：

根据所述文件处理请求，所述数据服务中心确定所述节点对当前批次的训练文件的处理状态；

在所述处理状态为处理成功的情况下，所述数据服务中心从所述节点对应的队列中删除目标元素，所述目标元素对应于所述当前批次的训练文件；

所述数据服务中心从所述节点对应的队列中，确定出所述节点的下一批次文件信息。

4.根据权利要求3所述的方法，其特征在于，所述根据所述文件处理请求，所述数据服务中心确定所述节点对当前批次的训练文件的处理状态之后，还包括：

在所述处理状态为处理失败的情况下，根据所述数据服务中心中所述节点对应的队列中的元素，对所述节点进行容错处理。

5.根据权利要求2所述的方法，其特征在于，所述数据服务中心设置有针对每个所述节点的队列，所述队列中的元素用于表征所述节点未完成训练的训练文件；

所述利用所述容器平台，调度所述容器之后，还包括：

在系统出现故障的情况下，获取所述数据服务中心中各所述节点对应的队列中的元素；

根据各所述节点对应的队列中的元素，对各所述节点进行容错处理。

6.根据权利要求1所述的方法，其特征在于，所述角色信息包括：角色与节点的对应关系，所述角色包括以下至少之一：主节点、工作节点、参数服务器及数据中心；

所述根据所述角色信息，在容器平台的集群上创建相应个数的容器，包括：

根据所述角色与节点的对应关系，在所述容器平台的集群中的各节点上创建对应的容器。

7.根据权利要求1所述的方法，其特征在于，所述容器平台采用kubernetes搭建，所述模型训练框架采用tensorflow。

8.一种模型训练装置，其特征在于，包括：

信息获取模块，用于获取模型训练任务的训练配置信息，所述训练配置信息包括：角色信息、环境信息及算法配置信息；

容器创建模块，用于根据所述角色信息，在容器平台的集群上创建相应个数的容器；

环境配置模块，用于根据所述环境信息，配置所述容器对应的节点的运行环境；

模型启动模块，用于利用模型训练框架，在所述节点上启动所述算法配置信息对应的训练模型；

任务执行模块，用于利用所述容器平台，调度所述容器，以使所述节点执行所述模型训练任务。

9.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。

10.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。