[发明专利]一种基于双注意力多层特征融合的图片情感分类方法

说明书

本发明公开了一种基于双注意力多层特征融合的图片情感分类方法，属于图像处理技术领域。该基于双注意力多层特征融合的图片情感分类方法包括一个多层次特征提取网络、双注意力机制和注意力特征融合的情感分类模块，该方法首先通过多层次特征提取网络提取图像多通道的多层次特征；然后通过空间注意力机制对多通道的低层特征赋予空间注意力权重，通过通道注意力机制对多通道的高层特征赋予通道注意力权重，分别强化不同层次的特征表示。本发明设计合理，充分利用了图像不同层次特征的互补性，同时充分考虑到了特征的空间信息和不同通道特征的语义差异，通过注意力机制增强了特征表示，从而提升了图片情感分类的效果。

技术领域

本发明涉及图像处理技术领域，具体为一种基于双注意力多层特征融合的图片情感分类方法。

背景技术

社交网络在人们日常生活中发挥着重要作用，随着移动终端技术的发展和可拍照设备的普及，越来越多的社交用户每天通过社交媒体创建和分享海量文本、图像和视频内容，针对这些内容的情感分析被广泛应用于推荐、广告、舆情监控等领域。图像情感分类需要解决图像视觉特征和情感语义之间的“情感鸿沟”，同时由于情感的复杂性和主观性，情感分析极具挑战性。

已有研究表明，图像情感与图像的不同层次的视觉特征相关。早期的图像情感分类研究主要利用图像的低层特征，如颜色、纹理等，有一些利用构图等艺术特征作为图像的中层特征进行情感分析，还有一些利用语义内容等高层特征进行图像情感分类。近年来深度学习特别是卷积神经网络(CNN)在视觉识别领域展现出优异性能，基于深度学习的图像情感分类方法也已经取得了不错的效果，但在克服“情感鸿沟”方面仍然有提升空间。

一幅图像传达的情感不仅由图像的语义内容等高层特征所反映，还与图像的低层视觉特征相关。现有的图像情感分类方法并没有充分利用多层次特征同时对特征的空间信息和不同通道特征的语义挖掘不足，这使得其性能受到限制。因此，需要一种新的图像情感分类方法克服现有方法所存在的这些问题。

发明内容

本发明的目的在于提供一种基于双注意力多层特征融合的图片情感分类方法，以解决上述背景技术中提出的现有的基于深度学习的图片情感分类方法未能充分利用多层次特征且特征表达能力不足的问题。

为实现上述目的，本发明提供如下技术方案：一种基于双注意力多层特征融合的图片情感分类方法，该基于双注意力多层特征融合的图片情感分类方法的具体分类步骤如下：

S1：准备用于训练模型的情感图像数据集，对数据集进行扩充，并将数据集中图像样本的尺寸调整为224×224×3；

S2：通过多层次特征提取网络提取S1中图像样本的多层次特征，即高层特征f^h和低层特征f^l；

S3：通过双注意力机制对S2提取的特征进行强化表示，通过空间注意力对低层特征f^l强化得到；

S4：融合强化后的注意力特征，得到判别性特征f，将其输入到softmax情感分类器计算情感类别概率，最终将概率最大的情感类别作为图像情感分类的结果。

优选的，所述步骤S1中数据集选取公开情感图像数据集TwitterⅠ、TwitterⅡ和EmotionROI，对每张图像分别取其四角和中心5个位置裁剪并进行水平翻转得到10张图224×224的图像。