[发明专利]一种基于注意力机制的图文情感识别方法

说明书

本发明公开了一种基于注意力机制的图文情感识别方法，通过引入近年来火热的注意力机制更好的挖掘模态内部信息以及学习模态之间的交互作用，针对各模态对于情感分类贡献度不同的问题设计决策级融合规则将各个模态的分类结果进行整合，得到最终的情感识别结果。采用决策级的融合方式，设计融合规则将各个分类器的分类概率进行整合，提高最终的情感识别准确率。上述提出的针对图文评论情感识别的方法，在多模态特征提取和特征融合等方面都进行了有益的补充和优化，有效的挖掘了模态内部信息和构建了模态间的交互作用，提升了图文情感识别的准确率。

技术领域

本发明属于计算机视觉、自然语言处理领域，主要用于对互联网社交媒体上的图文评论进行情感识别。

背景技术

随着社交媒体的快速发展，现如今用户倾向于在推特、脸书和新浪微博等社交媒体平台上表达意见和分享经验，这些用户发布的内容正在朝着内容和形式多样化的方向发展，与常规的纯文本评论不同，用户越来越多的为文字评论配图，传统的基于文本的情感分析已经演变为多模态情感分析，旨在自动的识别出评论中的基本态度，提取用户的情感和理解用户的行为，在实际生活中有着重要的应用意义。

在多模态情感分析中如何有效利用图文评论中的视觉内容和文本内容中的信息一直是一个具有挑战性的问题，与单一模态的情感分析相比，多模态情感分析方法应该有效的融合不同模态之间的信息。目前多模态情感分析存在三个难题，一是无法充分提取出各个模态内部的信息，图片的底层特征和中层特征往往不能抽象出图片的情感，评论文本具有随意性、简短性等特点，传统的文本表示方法无法有效的挖掘重要的语义信息，二是需要有效的融合各个模态的信息，互为补充的同时去除冗余信息，三是各个模态对于情感分类的贡献度不同，如何分配各模态所占的权重也是个难题。

注意力机制模拟人眼聚焦的能力，关注更重要更有价值的信息，引入注意力机制能够在同一模态内部针对不同维度的信息分配合理的权重，从而准确处理上下文信息，也能够对不同模态进行权重分配解决图片和文本对于情感分类贡献并非等价的问题。现有的多模态特征融合方法主要可以分为数据层融合、特征级融合和决策级融合。数据层融合是将收集到不同的数据集通过某种规则将其统一在一起，变成一个整体的数据集，实现起来复杂且得到的数据往往包含太多的冗余信息。特征级融合是指对各个模态的信息进行特征提取后构建成联合向量再输入到分类器中进行情感分类，常用的方法是拼接、按位加、按位乘。决策级融合是指分别构建每个模态的分类器，将得到的分类结果按照一定的规则进行整合，从而得到最终的情感识别结果，常用的方法有最大值融合、平均值融合、贝叶斯融合以及集成学习等。决策级融合相对来说更加简单，决策融合公式设计得当可以得到可观的识别准确率。

发明内容

本发明针对互联网社交媒体上的网络评论提出了一种基于注意力机制的图文情感识别方法，通过引入近年来火热的注意力机制更好的挖掘模态内部信息以及学习模态之间的交互作用，针对各模态对于情感分类贡献度不同的问题设计决策级融合规则将各个模态的分类结果进行整合，得到最终的情感识别结果。

通过引入自注意力机制更好的挖掘模态内部的情感信息以及引入交叉注意力机制构建不同模态之间的交互作用。这样做的依据在于注意力机制能够使得模型在重点关注的部分，投入更多的注意力资源，以获取更多的细节信息，同时减弱对其他相对不重要的部分的关注，从大量信息中获取更高价值的信息，提高了模型处理的效能。在图文评论情感识别任务中，经过初步的特征提取得到文本特征和图片特征，由于各个模态的信息之间存在着一定联系，通过加入跨模态编码层，将图片和文本分别作为对方的辅助信息，可以从各个模态的对齐元素中推断被掩盖的特征，发现并构建各模态之间的关系，使得不同模态的信息可以相互作用，将通过交叉注意力机制得到的文本特征、图片特征以及多模态特征分别输入到自编码层中，通过自注意力机制进行进一步的特征选择。利用精心设计和结合这些自注意力层和交叉注意层，本方法能够从输入数据中提取高质量的文本特征、图像特征和多模态特征。