[发明专利]任务牵引的特征蒸馏深度神经网络学习训练方法及系统、可读存储介质

权利要求书

1.任务牵引的特征蒸馏深度神经网络学习训练方法，其特征在于，包括，

在深度神经网络不同深度的下采样层之前，均增加被训练成执行与深度神经网络相同任务的辅助分类器；

所述的辅助分类器通过任务损失训练，从教师模型的整个特征中捕获面向任务特征；采用特征蒸馏损失训练，将教师模型中捕获的面向任务特征提取到学生模型中，用于任务牵引的特征蒸馏深度神经网络学习训练。

2.根据权利要求1所述的任务牵引的特征蒸馏深度神经网络学习训练方法，其特征在于，所述的辅助分类器由多个卷积层、池化层和全连接层组成。

3.根据权利要求2所述的任务牵引的特征蒸馏深度神经网络学习训练方法，其特征在于，通过对数蒸馏损失训练辅助分类器卷积层的卷积变化函数和全连接层。

4.根据权利要求3所述的任务牵引的特征蒸馏深度神经网络学习训练方法，其特征在于，所述的对数蒸馏损失的公式如下，

其中，L_KL是KL发散损失，为训练对象，为对应的标签，F_i(·)表示为第i个卷积阶段的特征映射，将C_i(·)表示为第i个卷积阶段中的全连接层，上标t和s分别表示教师模型和学生模型，N为对应神经网络中卷积层的数量。

5.根据权利要求1所述的任务牵引的特征蒸馏深度神经网络学习训练方法，其特征在于，所述的辅助分类器采用如下的面向任务的特征蒸馏损失函数进行任务损失训练和特征蒸馏损失训练，

其中，α是平衡两种损失的超参数，L₂是L₂范数损失，T是卷积变化函数，为训练对象，为对应的标签，F_i(·)表示为第i个卷积阶段的特征映射，将C_i(·)表示为第i个卷积阶段中的全连接层，上标t和s分别表示教师模型和学生模型，N为对应神经网络中卷积层的数量，L_CE为交叉熵损失。

6.根据权利要求1所述的任务牵引的特征蒸馏深度神经网络学习训练方法，其特征在于，特征蒸馏损失训练时，采用卷积层或全连接层作为特征调整层，调整教师模型中的蒸馏特征尺寸与学生模型的相同；采用正交损失调整特征调整层的权值。

7.根据权利要求1所述的任务牵引的特征蒸馏深度神经网络学习训练方法，其特征在于，所述的正交损失的公式如下，

β·(‖W^Tw-i‖+‖wW^T-I‖)

其中，β是一个调节正交损失强度的超参数，W是特征调整层的权重，W^T是其对应的转置矩阵，I是单位矩阵。

8.任务牵引的特征蒸馏深度神经网络学习训练系统，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，其特征在于，所述处理器执行计算机程序时实现如权利要求1-7中任一项所述的任务牵引的特征蒸馏深度神经网络学习训练方法。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的任务牵引的特征蒸馏深度神经网络学习训练方法。