[发明专利]一种模型训练方法及装置

权利要求书

1.一种模型训练方法，其特征在于，所述方法包括：

获取第一神经网络模型，所述第一神经网络模型包括第一卷积层；

根据所述第一神经网络模型，获取多个第二神经网络模型，其中，每个第二神经网络模型为将所述第一神经网络模型中的所述第一卷积层替换为一种线性操作得到的，所述线性操作等效为一个卷积层；

对所述多个第二神经网络模型进行模型训练，以获取目标神经网络模型，所述目标神经网络模型为训练后的多个第二神经网络模型中模型精度最高的神经网络模型。

2.根据权利要求1所述的方法，其特征在于，所述线性操作等效的卷积层的感受野小于或等于所述第一卷积层的感受野。

3.根据权利要求1或2所述的方法，其特征在于，所述线性操作包括多个操作分支，每个操作分支的输入为所述线性操作的输入，所述每个操作分支包括串行的至少一个子线性操作，且所述串行的至少一个子线性操作的等效感受野小于或等于所述第一卷积层的感受野；或，

所述线性操作包括一个操作分支，所述操作分支用于对所述线性操作的输入数据进行处理，所述操作分支包括串行的至少一个子线性操作，且所述串行的至少一个子线性操作的等效感受野小于或等于所述第一卷积层的感受野。

4.根据权利要求1至3任一所述的方法，其特征在于，每个第二神经网络模型中的所述线性操作与所述第一卷积层不同，且不同的第二神经网络模型包括的所述线性操作不同。

5.根据权利要求1至4任一所述的方法，其特征在于，所述线性操作等效的卷积层和所述线性操作在处理相同的数据时，得到的处理结果相同。

6.根据权利要求1至5任一所述的方法，其特征在于，所述目标神经网络模型对应的第二神经网络模型为将所述第一神经网络模型中的所述第一卷积层替换为目标线性操作得到的，所述目标神经网络模型包括训练后的目标线性操作，所述方法还包括：

将所述目标神经网络模型中的所述训练后的目标线性操作替换为所述训练后的目标线性操作等效的第二卷积层，以获取第三神经网络模型。

7.根据权利要求6所述的方法，其特征在于，所述第二卷积层的尺寸大小与所述第一卷积层的尺寸大小一致。

8.根据权利要求6或7所述的方法，其特征在于，所述方法还包括：

根据所述训练后的目标线性操作包括的多个子线性操作在处理数据时的先后顺序，将各个子线性操作融合到相邻且位于所述先后顺序中之后的子线性操作，直至完成到所述先后顺序中最后一个子线性操作的融合，以得到所述目标线性操作等效的第二卷积层。

9.根据权利要求8所述的方法，其特征在于，所述训练后的目标线性操作包括相邻的第一子线性操作以及第二子线性操，且在所述先后顺序中，所述第二子线性操作位于所述第一子线性操作之后，所述第一子线性操作包括第一操作参数，所述第二子线性操作包括第二操作参数；

所述将各个子线性操作融合到相邻且位于所述先后顺序中之后的子线性操作，包括：

获取所述第一子线性操作的融合参数，其中，若所述第一子线性操作的输入数据为所述训练后的目标线性操作的输入数据，则所述第一子线性操作的融合参数为所述第一操作参数，若所述第一子线性操作的输入数据为与所述第一子线性操作相邻且在所述先后顺序之前的第三子线性操作的输出数据，则所述第一子线性操作的融合参数为根据所述第三子线性操作的融合参数以及所述第一操作参数得到；

根据所述第一子线性操作的融合参数、所述第二操作参数以及所述第二子线性操作的操作类型，获取所述第二子线性操作的融合参数；其中，若所述第二子线性操作为所述先后顺序中的最后一个子线性操作，则所述第二子线性操作的融合参数用于作为所述第二卷积层的操作参数。

10.根据权利要求1至9任一所述的方法，其特征在于，所述线性操作包括多个子线性操作，且所述多个子线性操作的操作类型包括如下的至少一种：加和操作、空操作、恒等操作、卷积操作、批归一化BN操作或池化操作。