[发明专利]一种神经网络调优方法、系统、终端以及存储介质

权利要求书

1.一种神经网络调优方法，其特征在于，包括以下步骤：

在神经网络的损失函数中加入类内间距正则化损失，得到基于类内间距正则化的损失函数；其中，所述类内间距正则化损失表示所述神经网络输出的同一类别的数据的特征图之间的类内间距接近；给定一个神经网络结构z(x_i,ω)，ω是神经网络的参数，x_i是输入数据，所述基于类内间距正则化的损失函数为：

上式中，y_i是输入数据x_i对应的标签，L(z(x_i,ω),y_i)是经验损失函数，λ是一个超参数，为类内间距正则化损失，是所有类别的特征图集合；

在所述神经网络训练过程中，在设定比例的迭代次数中插入所述基于类内间距正则化的损失函数，采用网络优化算法与类内间距正则化算法交叠训练的方式对所述神经网络进行迭代训练，得到最优神经网络。

2.根据权利要求1所述的神经网络调优方法，其特征在于，所述基于类内间距正则化的损失函数用于提取各个类别的数据的特征图的类别中心，所述类别中心计算方式为：

将所述基于类内间距正则化的损失函数展开，得：

上述公式中，代表输入数据x_i经过神经网络后得到的特征图，数据x_i的标签为c，记作l(x_i)∈c，fm_c为标签为c的所有数据的特征图的类别中心，代表数据x_i的特征图与所属类别中心之间的距离；

所述类别中心的特征图计算公式为：

上式中，|X_c|代表所有样本X中类别属于c的样本数目。

3.根据权利要求2所述的神经网络调优方法，其特征在于，所述网络优化算法采用网络优化算法与类内间距正则化算法交叠训练的方式对所述神经网络进行迭代训练包括：

将所述神经网络的一次完整训练记为一次epoch，假设整个训练过程共有T个epoch，首先采用网络优化算法进行迭代训练，每当所述网络优化算法的迭代次数达到设定次数阈值时，在最后一次网络优化算法训练的epoch之后插入所述设定次数阈值的10％的迭代次数进行类内间距正则化算法迭代训练，并在最后一次类内间距正则化算法训练的epoch之后再次采用网络优化算法进行迭代训练；如此循环，直到完成T个epoch。

4.根据权利要求3所述的神经网络调优方法，其特征在于，所述网络优化算法迭代次数的设定次数阈值为20次。

5.根据权利要求1至4任一项所述的神经网络调优方法，其特征在于，所述类内间距正则化算法的损失函数为：

6.根据权利要求1至4任一项所述的神经网络调优方法，其特征在于，所述网络优化算法为随机梯度下降法。

7.根据权利要求6所述的神经网络调优方法，其特征在于，所述随机梯度下降法的损失函数为：

8.一种神经网络调优系统，其特征在于，包括：

损失函数优化模块：用于在神经网络的损失函数中加入类内间距正则化损失，得到基于类内间距正则化的损失函数；其中，所述类内间距正则化损失表示所述神经网络输出的同一类别的数据的特征图之间的类内间距接近；给定一个神经网络结构z(x_i,ω)，ω是神经网络的参数，x_i是输入数据，所述基于类内间距正则化的损失函数为：

上式中，y_i是输入数据x_i对应的标签，L(z(x_i,ω),y_i)是经验损失函数，λ是一个超参数，为类内间距正则化损失，是所有类别的特征图集合；

模型训练模块：用于在所述神经网络训练过程中，在设定比例的迭代次数中插入所述基于类内间距正则化的损失函数，采用网络优化算法与类内间距正则化算法交叠训练的方式对所述神经网络进行迭代训练，得到最优神经网络。