[发明专利]一种融合多尺度信息的图片情感识别方法

说明书

本发明提出了一种融合多尺度信息的图片情感识别方法，主要涉及深度学习中提取和融合多尺度特征进行图片情感识别的问题。此方法将局部特征和全局特征融合，进行多任务情感识别，并利用KL损失函数和交叉熵进行图片情感识别学习，完善了识别的信息。首先，使用两个网络分别提取局部特征和全局特征：利用ViT网络来进行局部特征提取，有利于获得小尺度的情感特征；利用ResNet网络进行全局特征提取，以获得深层情感特征。在将局部特征和全局特征融合后，将其送入全连接层进行分类，在完成主导情绪识别的同时进行了标签分布学习预测，解决了视觉特征提取不够充分的问题，能够合理地实现实例到情感空间的映射。

技术领域

本发明涉及深度学习领域中的图片情感分析问题，尤其是涉及一种融合多尺度信息的图片情感识别方法。

背景技术

随着互联网技术的飞速发展，人们更多地使用图片来表达自己的情感。因此，对于图片的情感分析是一个迫切且有研究价值的问题。现有的研究大多通过单标签或多标签学习完成图片标注、卷积神经网络进行特征提取，并且都取得了不错的效果。近年来，随着ViT网络在自然语言处理领域大放异彩和标签分布学习的逐步普及应用，图片情感分析领域也开始借鉴相关思想，来更好地预测图片中的情绪分布，对其进行充分表征。目前，图片情感分析在美学分析、智能广告和社交媒体舆情检测等领域都有着广泛应用和更深的研究需求。

现有的方法较少将图片所表达的不同情绪的相对重要性纳入考虑，并且只能对主导情绪进行识别。实际上，情绪具有较强的主观性，同一张图片可能会激起不同个体不同的情绪，所以学习图片的情绪分布十分重要。鉴于此，本专利将局部特征和全局特征进行融合，运用多尺度的信息来同时完成主导情绪的识别和情绪分布的预测。首先，使用ViT网络来进行局部特征提取，这些特征学习了局部信息与局部之间的关联信息，有利于表征图片的情感区域，获得小尺度的情感特征。其次，对于整体特征，利用ResNet网络来进行提取，使结果更加鲁棒。同时，使用KL损失函数和交叉熵进行学习，有利于衡量由于预测分布与标记分布不一致而导致的信息损失。

发明内容

本发明的目的是提供一种融合多尺度信息的图片情感识别方法，它使用了标签分布学习的方法来标注图片，并将图片的局部特征和全局特征融合来进行多任务情感识别，解决了图片情感分析中标签模糊及情绪分布得不到充分展现的问题。

为了方便说明，首先引入一下概念：

视觉转换器（VisionTransformer，ViT）：一种基于多头自注意力机制的一种神经网络。

残差网络(ResNets)：通过引入恒等映射来解决网络的退化问题。常见的网络类型有ResNet-18、ResNet-34、ResNet-50、ResNet-101以及ResNet-152。

标签分布学习（LabelDistribution Learning, LDL）：一种标签分配方式，用情绪分布来表征图片。

Kullback-Leibler (KL)损失函数：用于分布学习的损失函数，能衡量由于预测分布与标记分布不一致而导致的信息损失。

本发明具体采用如下技术方案：

一种融合多尺度信息的图片情感识别方法，其特征在于：

a. 通过ViT网络提取图片局部与局部之间的相关性的小尺度情感特征；

b. 通过ResNet网络提取图片的深度全局情感特征；

c. 采用KL损失函数和交叉熵进行图片情感识别学习；

d. 将局部特征和全局特征融合进行多任务情感识别，包括主导情绪识别任务和标签分布学习预测任务；

该方法主要包括以下步骤：

（1） 图片预处理：将数据集中的图像统一尺寸，然后使用随机裁剪和水平翻转等数据增强方法进行数据增扩；