[发明专利]一种基于深度度量学习的图像情感分类与检索算法

摘要

本发明公开了一种基于深度度量学习的图像情感分类与检索方法，属于图像处理技术领域。该方法的目的是结合情感标签间的相互关系进行图像情感的分类及检索。该方法设计了一种多任务的卷积神经网络架构，用于同时优化分类及检索两个任务。这种卷积神经网络架构利用基于多层卷积层的情感向量来作为图像的纹理信息表达，用于区别不同图像中的情感，并提出新型的情感约束考虑不同情感间的关系。最终将得到的模型用于图像情感分类，得到的情感向量作为嵌入特征用于图像情感检索。

主权项

1.一种基于深度度量学习的图像情感分类与检索方法，其特征在于，该方法包含如下步骤：a.用户输入一张任意大小的图像，输入到卷积神经网络中，系统输出图像的情感类别，并获得情感向量用于图像检索；b.此网络模型可以利用全部的卷积层的gram矩阵来获得图像中丰富的纹理特征，并作为图像情感检索的嵌入特征；c.此网络模型使用基于三元约束的情感约束计算得到相似度损失，将情感类别之间的极性关系考虑到训练过程中，即输入图像在特征空间中与所有相同类别的图像距离比其他具有相同极性情感的图像近，而与具有相反极性情感的图像距离最远；d.此网络模型结合分类损失及相似度损失两种损失为总损失，用于同时优化分类及检索两种任务。