[发明专利]一种基于紧凑双线性融合的图文跨模态情感分类方法

说明书

本发明提供一种基于紧凑双线性融合的图文跨模态情感分类方法，包括如下6个步骤：(1)图像特征表示的提取；(2)文本特征表示的提取；(3)软注意力图的生成；(4)图像注意力特征表示的生成；(5)多模态紧凑双线性融合算法融合图像注意力特征表示和文本特征表示；(6)图文情感分类。本发明方法中软注意力图和多模态紧凑双线性融合算法的使用，能够有效提高情感分类的准确率。

技术领域

本发明涉及图文结合的跨模态情感分类方法，特别涉及一种基于紧凑双线性融合的图文跨模态情感分类方法。

背景技术

图文跨模态情感分类研究的对象是：在Twitter、、Facebook、微博、电商等平台下，根据用户发送的图像和及其对应的文字信息，判断出发送者是积极还是消极的情感态度。图文跨模态情感分类的应用领域主要包括：舆情监测、用户行为分析、商品属性评判等等。随着科技的进步与发展，软硬件水平的不断提高，很多平台都可以支持用户同时发送语音、图像、视频等多媒体信息，其中大多数用户选择同时发送图像与文本两种媒体信息，因为相对于视频和语音，图像和文本能够更加简洁、直观的传达出发送者的情感态度。通过对图文跨模态情感分类的研究，不仅可以指导其他跨模态情感分类的研究，并且有着重大的现实意义，一旦研究成功并投入应用，将产生巨大的社会和经济效益。

总得来说，多模态情感分类的研究主要可以分为三部分。首先，如何利用现有的算法模型，提取出各种模态数据较好的情感特征；接着，研究如何更加高效、完整的将不同模态的特征融合；最后，就是对于损失函数的设计，如何快速高效的学习出所需参数，如果避免模型过拟合，如何添加在模态融合部分的惩罚项，使得模态融合部分的参数调整更加准确。

图文多模态情感分类的研究工作相对较晚，在早期，研究者们主要提取文本的情感词、词频等信息作为文本的情感特征，使用图像的SIFT、HOG、颜色直方图等特征作为图像的情感特征，使用传统的机器学习方法进行图文跨模态的情感分类研究。由于提取的文本和图像情感特征都属于低级的特征，而情感又是主观且抽象的，这样的研究方法的准确率很低。后来有研究者通过构建形容词名词对的方法获取图像的中等特征，虽然准确率有了很大的提升，但是仍然不高，很难能够真实的应用。随着深度学习在计算机视觉任务上的不断突破，研究者可以使用深度学习获取到图像更深层次的语义级特征。同时，包含语义及句法信息的词向量的出现，使自然语言处理各项任务有了很大的提升。因此，研究者开始使用深度学习模型进行图文跨模态情感分类的研究，并取得了不错的研究成果。但是，研究者只是注重模型的研究，不能很好地进行图文跨模态情感分类。

发明内容

本发明目的在于克服以往对低照度图像存在的缺陷，提出一种基于紧凑双线性融合的图文跨模态情感分类方法，使用深度学习模型，从获取更好的情感特征表示与融合算法的研究两个角度，进行图文跨模态情感分类，实现较高的分类精度。

本发明解决其技术问题所采用的技术方案是：

一种基于紧凑双线性融合的图文跨模态情感分类方法，包括：

从图文标注情感训练数据集中，逐一提取出图像及其对应的文字信息，将图像调整为448*448大小，将调整好的图像输入到经过ImageNet数据集上预训练好的152层的残差网络中，提取出图像经过152层残差网络计算后，其中最后一层卷积层的输出，大小为2048*14*14，作为图像的特征表示；

使用GloVe模型生成的300维词向量，将图像对应的文字信息转化计算机可以处理的矩阵表示，输入到双层LSTM网络中，每层LSTM网络包含100个单元，每层的输出向量为1024维，最后将每层LSTM的输出拼接，组成2048维的向量，作为文本的特征表示；