[发明专利]数据训练方法及装置、存储介质、电子装置

权利要求书

1.一种数据训练方法，其特征在于，包括：

确定样本数据和可用的集群资源；

将总训练模型拆分为多个子模型；

使用所述集群资源在所述多个子模型上并行训练所述样本数据。

2.根据权利要求1所述的方法，其特征在于，将总训练模型拆分为多个子模型包括以下至少之一：

将所述总训练模型拆分为多个第一子模型，其中，所述多个第一子模型并行连接；

将所述总训练模型拆分为多个第二子模型，其中，所述多个第二子模型串行连接。

3.根据权利要求2所述的方法，其特征在于，将所述总训练模型拆分为多个第一子模型：

根据算子的类型将所述总训练模型拆分为多个第一子模型，其中，所述总训练模型由一个或多个所述算子组成。

4.根据权利要求3所述的方法，其特征在于，根据算子的类型将所述总训练模型拆分为多个第一子模型包括：

获取所述算子的类型，其中，所述算子的类型包括：稠密算子；

将所述稠密算子拆分为N个输入为(B/N)×I的子稠密算子，其中，B为第一批维度，所述第一批维度的大小与指示的批尺寸的大小相同，I为所述稠密算子的输入向量的维度，N为大于1的整数，其中，所述第一子模型包括：所述子稠密算子。

5.根据权利要求3所述的方法，其特征在于，根据算子的类型将所述总训练模型拆分为多个第一子模型包括：

获取所述算子的类型，其中，所述算子的类型包括：稠密算子；

将所述稠密算子拆分为N个计算参数为I×(O/N)的子稠密算子，其中，所述子稠密算子与所述稠密算子的输入张量相同，O为所述稠密算子的输出向量的维度，I为所述稠密算子的输入向量的维度，N为大于1的整数，其中，所述第一子模型包括：所述子稠密算子。

6.根据权利要求3所述的方法，其特征在于，根据算子的类型将所述总训练模型拆分为多个第一子模型包括：

获取所述算子的类型，其中，所述算子的类型包括：卷积算子；

将所述卷积算子拆分为N个子卷积算子，其中，所述子卷积算子的输入张量为所述卷积算子的输入张量相同；

其中，所述第一子模型包括：所述子卷积算子。

7.根据权利要求2所述的方法，其特征在于，将所述总训练模型拆分为多个第二子模型包括：

解析所述总训练模型得到多个算子，其中，所述总训练模型包括Concat算子和Split算子，串行相邻的Concat算子和Split算子组成第一Concat-Split算子对；

在所述第一Concat-Split算子对中，在所述Concat算子的输入张量与所述Split算子的输出张量相同时，在所述总训练模型中删除所述第一Concat-Split算子对中的Concat算子和Split算子后，将所述总训练模型拆分为多个第二子模型。

8.根据权利要求1所述的方法，其特征在于，确定样本数据和可用的集群资源包括：

接收训练作业，从所述训练作业中获取对应的样本数据；确定集群当前空闲的第一处理器，以及接收指定的第二处理器信息，根据所述第二处理器信息在所述第一处理器中确定可用的处理器资源，其中，所述集群资源包括所述处理器资源。

9.根据权利要求1所述的方法，其特征在于，使用所述集群资源在所述多个子模型上并行训练所述样本数据包括：

将所述样本数据划分为M个分片后，并行输入到所述集群资源的M*K个子模型上进行训练，其中，K为配置一个子模型所需要的最小集群资源，M为大于0的整数，K为大于0的整数。

10.一种数据训练装置，其特征在于，包括：

确定模块，用于确定样本数据和可用的集群资源；

拆分模块，用于将总训练模型拆分为多个子模型；

训练模块，用于使用所述集群资源在所述多个子模型上并行训练所述样本数据。