[发明专利]一种模型训练方法及相关设备

权利要求书

1.一种模型训练方法，其特征在于，所述方法包括：

获取待训练的第一神经网络模型，所述第一神经网络模型包括第一算子，所述第一算子用于将输入数据与目标权重矩阵进行乘积运算；

将所述第一神经网络模型中的所述第一算子替换为第二算子，以得到第二神经网络模型，其中，所述第二算子用于将输入数据与多个子权重矩阵进行乘积运算，所述多个子权重矩阵为对所述目标权重矩阵进行矩阵分解得到的；

对所述第二神经网络模型进行模型训练，得到目标神经网络模型。

2.根据权利要求1所述的方法，其特征在于，处理相同数量的训练数据时，所述第一神经网络模型所需的时间大于所述第二神经网络模型所需的时间。

3.根据权利要求1或2所述的方法，其特征在于，所述多个子权重矩阵包括第一子权重矩阵和第二子权重矩阵，在将输入数据与多个子权重矩阵进行乘积运算的过程中，所述第一子权重矩阵和所述第二子权重矩阵为所述多个子权重矩阵中任意两个相乘的矩阵，所述第一子权重矩阵的列的尺寸和所述第二子权重矩阵的行的尺寸相同。

4.根据权利要求3所述的方法，其特征在于，所述多个子权重矩阵包括矩阵1、矩阵2、…、矩阵N-1以及矩阵N，所述第二算子用于进行如下运算：M*矩阵1*矩阵2*…*矩阵N-1*矩阵N，其中，所述M表示输入数据，所述*表示相乘；

所述目标权重矩阵的行的尺寸和所述矩阵1的行的尺寸相同，所述目标权重矩阵的列的尺寸和所述矩阵N的列的尺寸相同。

5.根据权利要求1至4任一所述的方法，其特征在于，所述多个子权重矩阵中每个子权重矩阵的行的尺寸小于或等于所述目标权重矩阵的行的尺寸，所述多个子权重矩阵中每个子权重矩阵的列的尺寸小于或等于所述目标权重矩阵的列的尺寸。

6.根据权利要求1至5任一所述的方法，其特征在于，所述方法还包括：

获取目标矩阵拆分尺寸，所述目标矩阵拆分尺寸表示所述多个子权重矩阵中每个子权重矩阵的行的尺寸和/或列的尺寸；

根据所述目标矩阵拆分尺寸和所述目标权重矩阵，确定所述多个子权重矩阵。

7.根据权利要求6所述的方法，其特征在于，所述目标矩阵拆分尺寸包括a1、a2、…、an-1以及an，所述目标权重矩阵的尺寸为P*Q，相应的，所述多个子权重矩阵的尺寸为P*a1、a1*a2、…、an-1*an以及an*Q。

8.根据权利要求6或7所述的方法，其特征在于，所述获取目标矩阵拆分尺寸，包括：

获取多个候选的矩阵拆分尺寸；

所述根据所述目标矩阵拆分尺寸和所述目标权重矩阵，确定所述多个子权重矩阵包括：

根据所述多个候选的矩阵拆分尺寸和所述目标权重矩阵，确定多组候选的子权重矩阵，每组候选的子权重矩阵为基于一个候选的矩阵拆分尺寸和所述目标权重矩阵得到的；

所述将所述第一神经网络模型中的所述第一算子替换为第二算子，以得到第二神经网络模型包括：

基于所述多组候选的子权重矩阵，获取多个候选的神经网络模型；其中，每个候选的神经网络模型包括与所述第一算子对应的候选算子，每个所述候选算子包括一组候选的子权重矩阵；

对所述多个候选的神经网络模型进行训练，并从所述多个候选的神经网络模型中选择数据处理精度满足预设条件，且在进行训练时处理相同数量的训练数据所需的时间最小的候选的神经网络模型作为所述第二神经网络模型。

9.根据权利要求8所述的方法，其特征在于，所述目标权重矩阵的尺寸为P*Q，所述多个候选的矩阵拆分尺寸中任意一个矩阵拆分尺寸包括b1、b2、…、bn-1以及bn，所述任意一个候选矩阵拆分尺寸对应的一组候选的子权重矩阵为P*b1、b1*b2、…、bn-1*bn以及bn*Q。