[发明专利]梯度增强型Softmax分类器系统、训练信号产生方法及其应用

权利要求书

1.一种梯度增强型Softmax分类器系统，其特征在于，用作基于深度卷积神经网络的图像分类模型中训练特征提取器的监督器，包括：

得分计算模块，用于：将特征提取器提取的图像样本的特征向量与各个类别代理向量进行点积运算且进行归一化操作，并乘以一常数进行放缩之后得到图像样本对应各个类别的得分；以及

损失计算模块，用于：通过得分计算模块中所述图像样本对应各个类别的得分结合图像样本的类别标签获取类内得分以及类间得分的软最大值；将所述类内得分和所述类间得分的软最大值加权组合得到损失计算函数；以及将损失计算函数作为目标函数，进行最优化求解，该目标函数的最优解满足：最大化类内得分且最小化类间得分。

2.根据权利要求1所述的梯度增强型Softmax分类器系统，其特征在于，所述图像样本对应各个类别的得分的表达式如下：

其中，s_i表示图像样本在第i个类别上的得分，表示w_i的转置，w_i为各个类别代理向量，其中i取值为1，2，…，C，C为类别的总个数；x表示图像样本的特征向量；α为一常数，用于对得分区间进行放缩；表示与x的点积运算；||*||表示二范数。

3.根据权利要求2所述的梯度增强型Softmax分类器系统，其特征在于，

所述通过得分计算模块中所述图像样本对应各个类别的得分结合图像样本的类别标签获取类内得分以及类间得分的软最大值的方法为：

基于图像样本的类别标签t，由得分计算模块得到该类别标签对应的类别的得分即为类内得分s_t；

基于图像样本的类别标签，将除去该类别标签对应的类别之外的其余类别计算软最大值，计算公式如下：

其中，s_s为类间得分的软最大值；log表示取对数运算；∑表示求和运算，e^*表示e指数运算。

4.根据权利要求1所述的梯度增强型Softmax分类器系统，其特征在于，所述损失计算模块得到最优解对应的损失值后，还会基于误差反传与梯度下降法更新该梯度增强型Softmax分类器系统中的类别代理向量并将误差信号反传给深度卷积神经网络用以监督特征提取器的训练。

5.根据权利要求4所述的梯度增强型Softmax分类器系统，其特征在于，随着训练迭代次数的增加，该梯度增强型Softmax分类器系统的损失值关于所述各个类别的得分的梯度呈分层趋势。

6.一种训练信号产生方法，其特征在于，基于如权利要求1-5中任一项所述的梯度增强型Softmax分类器系统作为深度卷积神经网络的图像分类模型中训练特征提取器的监督器，来产生所述训练信号，该方法包括：

将特征提取器提取的图像样本的特征向量与各个类别代理向量进行点积运算且进行归一化操作，并乘以一常数进行放缩之后得到图像样本对应各个类别的得分；

通过所述图像样本对应各个类别的得分结合图像样本的类别标签获取类内得分以及类间得分的软最大值；将所述类内得分和所述类间得分的软最大值加权组合得到损失计算函数；以及将损失计算函数作为目标函数，进行最优化求解，该目标函数的最优解满足：最大化类内得分且最小化类间得分。

7.根据权利要求6所述的训练信号产生方法，其特征在于，还包括：

得到最优解对应的损失值后，还会基于误差反传与梯度下降法更新该梯度增强型Softmax分类器系统中的类别代理向量并将误差信号反传给深度卷积神经网络用以监督特征提取器的训练。

8.根据权利要求7所述的训练信号产生方法，其特征在于，随着训练迭代次数的增加，该梯度增强型Softmax分类器系统的损失值对所述各个类别的得分的梯度呈分层趋势。