[发明专利]一种基于深度度量学习的图像情感分类与检索算法

说明书

本发明公开了一种基于深度度量学习的图像情感分类与检索方法，属于图像处理技术领域。该方法的目的是结合情感标签间的相互关系进行图像情感的分类及检索。该方法设计了一种多任务的卷积神经网络架构，用于同时优化分类及检索两个任务。这种卷积神经网络架构利用基于多层卷积层的情感向量来作为图像的纹理信息表达，用于区别不同图像中的情感，并提出新型的情感约束考虑不同情感间的关系。最终将得到的模型用于图像情感分类，得到的情感向量作为嵌入特征用于图像情感检索。

技术领域

本发明属于图像处理技术领域，特别涉及到一种基于深度度量学习的图像情感分类与检索的方法。

背景技术

伴随多媒体技术的迅速发展，图片、视频等媒介已变成网络社交文化中的一种主流，人们更多地利用多媒体内容来表达自己的情感或观念。图像情感分析旨在使机器可以辨认甚至产生类似于人的情绪，是计算机视觉、模式识别等范畴的重要挑战之一。与传统物体分类不同，情感分类更为主观也更具有挑战性，一个主要原因是情感类别之间并非完全独立，有着不同文化背景的人对同一幅图像产生的感觉可能不尽相同。

传统的情感分析方法提取低层人工特征用于情感分类，如颜色、纹理、线条等特征，或者利用名词形容词对探测器Sentibank提取图像中的中层表征。近年来，卷积神经网络的运用在很多视觉任务中取得较好的效果，例如图像分类、物体检测、语义分割等。卷积神经网络具有很强的学习图像高层次特征表征的能力，因此一些研究者开始使用卷积神经网络进行情感分类。如You Quanzeng等2016年在AAAI(308-314)发表的论文“Building alarge scale dataset for image emotion recognition:The fine print and thebenchmark”中在大规模情感数据集上微调AlexNet网络。但是大多数基于卷积神经网络的方法都利用softmax损失函数优化分类任务，该函数只用于最大化正确类别的概率，而不能考虑到情感标签间天然存在的关系，如属于相同极性的情感(积极、消极)之间会比不同极性间更为相似。度量学习在过去几十年被广泛用于图像处理当中，近来一些方法将卷积神经网络与三元约束结合用来学习嵌入特征能够捕捉图像中的语义相似度。这类深度度量学习方法也被成功运用在了很多领域当中，如人脸识别，图像检索等。Zhang xiaofan等2016年在CVPR(1114-1123)发表的论文“Embedding label structures for fine-grainedfeature representation”中协同训练softmax及三元损失函数来获取图像语义特征，但利用全卷积特征并不能充分捕捉图像中的情感信息，此外，细分类物体类别间的三元约束也不适用于为情感种类间的关系建模。

上述领域的一些最新成果激发了我们的灵感，也为我们开发基于分层特征选择的高效分割方法提供了坚实的技术基础。

发明内容

本发明需要解决的技术问题是输入一张任意大小的图片，系统可以预测其所属的情感种类，及用于检索情感相近的图像的嵌入特征。

为了实现本发明的目的，我们依靠以下技术方案来实现：

a.将训练样本输入到卷积神经网络模型中，计算样本的各层特征表示，并根据真实类别得到分类损失。

b.将卷积神经网络中的所有卷积层特征的gram矩阵结合到一起作为情感向量，实现多层次的纹理信息充分的结合。

c.利用情感约束建模情感标签的混合关系，计算得到相似性损失，保证输入样本在特征空间中与所有相同类别的样本距离比其他具有相同极性情感的样本近，而距具有相反极性情感的样本最远。

d.结合分类损失及相似度损失为总损失，通过随机梯度下降方法训练整个卷积神经网络。

e.利用训练好的卷积神经网络预测输入图像的情感类别，同时提取情感向量用于检索相应情感的图片。