[发明专利]人脸识别神经网络调整方法和装置

说明书

提出了一种针对人脸识别神经网络进行调整和部署的方法与装置。人脸识别神经网络至少包括多个卷积层和至少一个全连接层，最后一个全连接层是用于分类的分类器，并且所述方法包括：获取待训练的神经网络模型；使用定点量化来对所述神经网络模型进行训练，以获得经训练的定点量化神经网络模型，其中所述最后一个全连接层在训练过程中保持浮点；以及输出不带所述最后一个全连接层的所述经训练的定点量化的神经网络模型。由此，利用人脸识别网络的特殊性，通过在训练阶段保持对网络整体精度有较大影响的分类器层不定点并且不再输入网络中包括该分类器层，能够在确保训练出的定点神经网络具有高精度的同时避免网络部署时额外的算力需求。

技术领域

本发明涉及深度学习，尤其涉及对人脸识别神经网络的定点量化。

背景技术

在机器学习诞生之初，人脸识别就是其中一个最为基础的应用领域。近年来随着深度学习的不断发展与进步，人脸识别的精度也随之迅猛上升，甚至在多个评测集上超过人类水平。因此，人脸识别也开始在诸如智能电话、智能监控摄像头等的生活场景中得到应用。

但实际应用场景中算力和功耗的限制在严重制约着人脸识别技术的推广部署。鉴于现有神经网络参数具备大量冗余的事实，可以通过神经网络定点化来大幅降低资源使用量。由此，如何在算力和功耗有限的硬件上训练并有效部署定点人脸识别神经网络是一个必须解决的问题。

由此，需要一种更为简便有效的人脸识别神经网络定点量化方法。

发明内容

为了解决如上至少一个问题，本发明提出了一种针对人脸识别神经网络调整方案，该方案通过在定点过程中保持关键层的浮点运算来确保定点网络的准确性。另一方面，由于该关键层在部署阶段会被省略，因此其不会额外消耗定点网络部署后的算力。

根据本发明的一个方面，提出了一种调整人脸识别神经网络的方法，其中所述人脸识别神经网络至少包括多个卷积层和至少一个全连接层，最后一个全连接层是用于分类的分类器，所述方法包括：获取待训练的神经网络模型；使用定点量化来对所述神经网络模型进行训练，以获得经训练的定点量化神经网络模型，其中所述最后一个全连接层在训练过程中保持浮点；以及输出不带所述最后一个全连接层的所述经训练的定点量化的神经网络模型。由此，利用人脸识别网络的特殊性，通过在训练阶段保持对网络整体精度有较大影响的分类器层不定点并且不再输入网络中包括该分类器层，能够在确保训练出的定点神经网络具有高精度的同时避免网络部署时额外的算力需求。

使用定点量化来对所述神经网络模型进行训练可以包括：以约束逐渐变强的损失函数对所述神经网络模型进行迭代训练。例如，可以以弱约束损失函数训练出基础定点神经网络模型；基于所述基础定点神经网络模型，以强约束损失函数训练得到所述经训练的定点量化神经网络模型。

另外，还基于预定规则以逐渐降低的比特对所述高比特定点量化神经网络模型进行迭代微调，优选地，可以逐位降低对初始高比特定点量化神经网络模型进行微调的定点比特数，直至目标低比特位宽为止，以获得经训练的目标低比特定点量化的神经网络模型。由此进一步提升定点网络的精度并降低收敛难度。在这其中，初始高比特位宽可以是目标低比特位宽的整数倍，以方便硬件部署与实现。

使用低比特对所述高比特定点量化神经网络模型进行微调，以获得经训练的带低比特定点量化的神经网络模型包括：在使用特定低比特进行微调时，基于预定规则从神经网络模型的低层到高层逐步降低位宽至所述特定低比特，以获得经训练的带该特定低比特定点量化的神经网络模型。由此，在逐位微调的基础上细化为逐层微调，进一步确保定点网络的正确收敛。

针对定点网络，可以以低学习率的定点梯度来对所述神经网络模型进行训练，所述梯度的定点位宽与所述神经网络模型的当前定点位宽相同。优选地，高比特定点量化时的学习率要大于低比特定点量化时的学习率，以进一步确保定点网络的正确收敛。