[发明专利]一种神经网络模型辅助训练和参数压缩方法

权利要求书

1.一种神经网络模型辅助训练和参数压缩方法，其特征在于，包括以下步骤：

1)、在需要被训练的神经网络模型中添加多个辅助训练模块，并将被训练的神经网络模型输出和多个辅助训练模块输出串联得到多组输出

2)、将训练样本标签表示为one-hot标签，将得到的one-hot标签扩展为多组目标标签y_i；

3)、将步骤2)得到的包含多组输出的与步骤3)中扩展后得到的包含多组目标标签的y_i，输入到交叉熵损失函数中得到所需的损失函数L；

4)、利用梯度反向传播算法对所需的损失函数L进行多次迭代训练，并更新被训练的神经网络模型的参数，直到模型收敛；

5)选取辅助训练模块的其中一个辅助训练模块取代被被训练的神经网络模型中对应的子模块，以实现模型的参数压缩。

2.根据权利要求1所述的一种神经网络模型辅助训练和参数压缩方法，其特征在于：所述辅助训练模块的添加位置能将被训练的神经网络模型大致均分为参数量相同的多个子模块。

3.根据权利要求2所述的一种神经网络模型辅助训练和参数压缩方法，其特征在于：扩展方式为得到的样本one-hot标签复制N份并串联起来，得到目标标签y_i。

4.根据权利要求3所述的一种神经网络模型辅助训练和参数压缩方法，其特征在于：扩展后的N组目标标签y_i与one-hot标签一一对应。

5.根据权利要求4所述的一种神经网络模型辅助训练和参数压缩方法，其特征在于：所述多组输出在交叉熵函数中分别对应不同的权值。

6.根据权利要求5所述的一种神经网络模型辅助训练和参数压缩方法，其特征在于：所述所需的损失函数L包括N组不同权值的交叉熵损失函数相加，具体公式如下：

其中，CEL(.)为交叉熵损失函数，α和β是决定权值的超参数，和分别为和y_i的第j组。

7.根据权利要求6所述的一种神经网络模型辅助训练和参数压缩方法，其特征在于：步骤5)中，根据需要选择多组辅助训练模块中的某一组替换被训练的神经网络模型中对应的子模块，一般情况下选择第一组辅助训练模块。

8.根据权利要求7所述的一种神经网络模型辅助训练和参数压缩方法，其特征在于：所述被训练的神经网络模型包括多层卷积层。

9.根据权利要求8所述的一种神经网络模型辅助训练和参数压缩方法，其特征在于：每个辅助训练模块包括卷积层、池化层。

10.根据权利要求9所述的一种神经网络模型辅助训练和参数压缩方法，其特征在于：每个辅助训练模块还可以包括激活层、全连接层。