[发明专利]一种基于深度度量学习的图像情感分类与检索算法

权利要求书

1.一种基于深度度量学习的图像情感分类与检索方法，其特征在于，该方法包含如下步骤：

a.用户输入一张任意大小的图像，输入到卷积神经网络中，系统输出图像的情感类别，并获得情感向量用于图像检索；

b.此卷积神经网络利用全部的卷积层的gram矩阵来获得图像中丰富的纹理特征，并作为图像情感检索的嵌入特征；

c.此卷积神经网络使用基于三元约束的情感约束计算得到相似度损失，将情感类别之间的极性关系考虑到训练过程中，即输入图像在特征空间中与所有相同类别的图像距离比其他具有相同极性情感的图像近，而与具有相反极性情感的图像距离最远；

d.此卷积神经网络结合分类损失及相似度损失两种损失为总损失，用于同时优化分类及检索两种任务；

卷积神经网络是由两个分支组成，两个分支共享网络卷积层，第一个分支使用全连接层映射为预测的情感类别，并计算softmax损失函数，用于分类；第二个分支将所有的卷积层gram矩阵连接到一起作为情感向量SV，以充分利用纹理特征并通过情感约束计算相似度损失函数，用于检索任务；对于输入样本a，随机从送入的训练样本集中选取具有相同情感类别的样本p，具有相同极性但不同情感类别的样本r，及具有相反情感极性的样本n，则情感约束可表示为：

其中，α₁及α₂为控制不同情感标签间的远近的阈值，D(·，·)为两个样本间情感向量SV的欧式距离。

2.根据权利要求1所述的基于深度度量学习的图像情感分类与检索方法，其特征在于：通过情感约束条件计算得到相似度损失函数，该约束基于三元约束，保证输入图像在特征空间中与所有相同类别的图像距离比其他具有相同极性情感的图像近，而与具有相反极性情感的图像距离最远，在情感数据集上训练此卷积神经网络，得到用于分类及检索的卷积神经网络模型。