[发明专利]基于注意力机制的mobilenet-v1知识蒸馏方法、存储器及终端设备

说明书

本发明提供了一种基于注意力机制的mobilenet‑v1知识蒸馏方法、存储器及终端设备，其中，包括：分别选择复杂模型WRN‑50‑8以及简单模型mobilenet‑v对应的特定中间层，用以进行注意图的知识转移；处理得到复杂模型和简单模型的中间层所对应的注意力图之间的损失，记为损失值一；处理获得复杂模型和简单模型的Logit层之间的KL散度；处理获得简单模型的交叉熵损失，记为损失值二；根据损失值一、KL散度及损失值二处理得到总损失；损失值一、RL散度、损失值二以及总损失用以简单模型的参数的计算。其技术方案的有益效果在于，与现有其他蒸馏方式相比，大幅提高mobilenet‑v1学生网络的识别精度和准确率，并可以将其部署在算力有限的设备。

技术领域

本发明涉及深度学习模型压缩技术领域，尤其涉及基于注意力机制的mobilenet-v1知识蒸馏方法、存储器及终端设备。

背景技术

知识蒸馏是将复杂模型(教师网络)中的暗知识(dark knowledge)迁移到简单模型(学生网络)中去，一般来说，复杂模型具有强大的能力和表现，而简单模型则更为紧凑。通过知识蒸馏，希望简单模型能尽可能逼近亦或是超过复杂模型，从而用更少的复杂度来获得类似的预测效果。(Geoffrey Hinton,Oriol Vinyals,Jeff Dean.“Distilling theKnowledge in a Neural Network”In NIPS,2014)首次提出了知识蒸馏的概念，通过引入教师网络的软目标(soft targets)以诱导学生网络的训练。近些年来出现了许多知识蒸馏的方法，而不同的方法对于网络中需要转移的暗知识定义也各不相同。(SergeyZagoruyko,Nikos Komodakis.“PAYING MORE ATTENTION TO ATTENTION:IMPROVING THEPERFORMANCE OF CONVOLUTIONAL NEURAL NETWORKS VIA ATTENTION TRANSFER”In ICLR,2017)首次提出利用注意力机制对WRN(Wide ResNet)网络进行蒸馏。

由于WRN网络结构依然很大，不适合部署在计算能力有限的设备(比如移动终端)。

发明内容

针对现有的在无法在计算能力有限的设备上部署WRN网络结存在的问题。现提供一种方便对对简单模型进行蒸馏以适应有限算力的端侧设备的基于注意力机制的mobilenet-v1知识蒸馏方法。

具体包括以下：

一种基于注意力机制的mobilenet-v1知识蒸馏方法，其中，包括：

分别选择复杂模型WRN-50-8以及简单模型mobilenet-v(MobileNets基于一种流线型结构使用深度可分离卷积来构造轻型权重深度神经网络。)对应的特定中间层，用以进行注意图的知识转移；

处理得到所述复杂模型和所述简单模型的中间层所对应的注意力图之间的损失，记为损失值一；

处理获得所述复杂模型和所述简单模型的Logit层之间的KL散度；

处理获得所述简单模型的交叉熵损失，记为损失值二；

根据所述损失值一、所述KL散度及所述损失值二处理得到总损失；

所述损失值一、所述RL散度、所述损失值二以及所述总损失用以所述简单模型的参数的计算。

优选的所述进行注意图的知识转移方法包括：

从所述复杂模型的结构中选择预定数量的中间层输出作为计算注意力图的中间层特征图，记为中间特征图一；

从所述简单模型的结构中选择预定数量的中间层输出作为计算注意力图的中间层特征图，记为中间特征图二；

将所述中间特征图一的知识转移给所述中间特征图二。