[发明专利]一种神经网络模型辅助训练和参数压缩方法

说明书

本发明公开了一种神经网络模型辅助训练和参数压缩方法，包括以下步骤：1)、在需要被训练的神经网络模型中添加多个辅助训练模块，并将被训练的神经网络模型和辅助训练模块的输出串联起来得到输出；2)、扩展原样本标签，扩展后的N组标签与原来的标签一一对应；3)、将扩展后的标签N组标签分别设置不同的交叉熵权值，按照对应的权值，输入到交叉熵函数进行梯度反向传播；4)、选取其中的一个辅助训练模块取代被训练的神经网络模中对应的子模块，以实现模型的参数压缩。

技术领域

本发明涉及人工智能、机器学习技术领域，具体涉及一种神经网络模型辅助训练和参数压缩方法

背景技术

现有神经网络辅助训练的方法大多从训练样本角度加入辅助信息(即从各种方面增加训练所需的样本)，或者是在模型的输出末端增加一些分类器。

神经网络训练方法是神经网络建模过程中必不可少的阶段，目前所用的训练方法都是传统的训练方法，如上所述，没有加入辅助模块的训练方法。我们所提出的使用辅助模块的训练方法，在人工智能领域具有广阔的应用前景。

此外，参数压缩也是以往辅助训练方式所不具有的。以往的参数压缩都是通过人工设计适应训练任务的最小网络结构。而我们提出的参数压缩方法，是以辅助模块为基础，具有更好的参数压缩性能。

神经网络参数压缩在实际工业应用领域也具有广阔的应用前景，因为在工业实际应用领域，对应设备的存储器和运算器资源是有限的，参数越少，当然越节约存储器和运算器资源。

现有的机器学习领域辅助训练方法，都集中在在训练数据样本或者特征的层面上添加辅助信息(Zhang,Linfeng,et al.Auxiliary training:Towards accurate androbust models.Proceedings of the IEEE/CVF Conference on Computer Vision andPattern Recognition.2020.)。这些方法的不足之处在于需要额外的用于辅助训练的数据，而这些辅助训练数据的收集和选择也是一个难点。而本文所用的增加辅助训练模块的方法，不需要额外的辅助训练数据，是在网络结构层面上进行的辅助训练，相比于以前的方法更加简单高效。

而现有流行的神经网络模型，如VGG19、ResNet18等常用的神经网络，他们在分类任务时含有大量的网络参数。这些大量的网络参数在提高模型分类精度的同时，也不可能避免的占用了大量的硬件资源，这是这些模型在应用时的缺点所在。而本发明提出的，在辅助训练后，用辅助训练模块代替原网络的输出子模块进行输出，可以有参数压缩的效果。这在模型的实际应用时节省了硬件资源。

发明内容

现有神经网络辅助训练的方法大多从训练样本角度加入辅助信息，而本发明辅助训练方法主要从网络结构方面，加入辅助训练模块。同时，辅助训练模块可以用于网络模型参数的压缩，这是以前的辅助训练方法所不具有的。可以说我们提出的方法是人工智能领域一个新的方向和方法。

本发明至少通过如下技术方案之一实现。

一种神经网络模型辅助训练和参数压缩方法，包括以下步骤：

1)、在需要被训练的神经网络模型中添加多个辅助训练模块，并将被训练的神经网络模型输出和多个辅助训练模块输出串联得到多组输出

2)、将训练样本标签表示为one-hot标签，将得到的one-hot标签扩展为多组目标标签y_i；

3)、将步骤2)得到的包含多组输出的与步骤3)中扩展后得到的包含多组目标标签的y_i，输入到交叉熵损失函数中得到所需的损失函数L；

4)、利用梯度反向传播算法对所需的损失函数L进行多次迭代训练，并更新被训练的神经网络模型的参数，直到模型收敛；