[发明专利]一种基于注意力机制的双模态情感分析方法

说明书

本发明公开了一种基于注意力机制的双模态情感分析方法，使用了预训练的BERT模型和ResNet152模型进行文本和图片的信息编码，在得到文本编码和图片编码后先分别提取了文本模态和图片模态的局部信息和全局信息，充分考虑了模态内的高维特征对最终分类的积极作用。在模态间融合部分，本发明使用了双向注意力机制和门控多模态单元相结合的方式，考虑了图文模态之间双向的交互作用，从而提取到更多互补的信息。在模态间融合之后采取细粒度的特征提取，进一步对所拼接的特征进行过滤，剔除可能冗余的特征，得到更紧凑对情感极性更有益的细粒度特征表示，再对文本模态和图片模态进行加权拼接，从而提高了分类的准确度。

技术领域

本发明涉及多模态情感分析领域，更具体地，涉及一种基于注意力机制的图文双模态情感分析方法。

背景技术

传统的情感分析是一个比较重要的自然语言处理领域的子任务。主要的形式就是输入一段文本，输出一个情感极性，是一个经典的分类任务。但是，随着互联网的发展，社交媒体的普及，信息越来越丰富，微博和Twitter等中英文社交平台已经成为我们日常生活中的一部分，并在人们的日常交流中发挥重要的作用。

因此，情感分析任务已经不仅仅局限于文本的信息，越来越多的多模态数据出现在社交平台平台上。比如在一段视频中提取文字，视频画面，音频信息，可以进行三模态的情感分析研究。又比如在微博或者Twitter的平台上，信息不仅仅是文本内容，还会附带大量的图片信息，图片会对文本的情感极性起到一个补充作用。尽管多模态的信息为人类的交流提供了极大的便利，但是多模态数据也为情感分析带来了越来越多的挑战。因此，从视觉和文本内容中自动检测情感已成为一个重要的研究课题。

目前大多数双模态情感分析的工作集中在简单融合的技术，将多个不同模态的不同特征组合在一起，然后输入到分类器中，得到预测的情感极性。首先，这些工作的主要缺点是难以捕捉模态之间的复杂关系，多模态之间的融合过程过于粗糙。文本和图片这两个模态是互补的关系，需要提取的是两者的互补特征，而不是仅仅是共有特征。其次，文本和图片之间的影响必定是双向的，有些方法不能有效利用视觉和文本信息之间的关联，片面地考虑图像对文本的单向影响，而忽略了视觉和文本信息之间的交互作用。

公开日为2019年03月29日，公开号为CN109543180A的中国专利公开了一种基于注意力机制的文本情感分析方法，包括如下步骤：一、对文本数据进行预处理；二、构建词表并利用GloVe模型构建词向量；三、利用内在注意力对句向量进行编码，利用交互注意力对目标词向量进行编码，并通过GRU融合编码后的两个向量，平均池化后得到融合表示；四、根据得到的融合表示，通过逐点的前馈网络(FFN)得到上下文向量的抽象特征，再通过全连接与Softmax函数计算情感分类标签的概率分布，得到分类结果；五、将预处理后的语料划分为训练集和测试集，对模型参数进行多次训练，选取分类准确率最高的模型用于情感倾向性分类。但该专利只考虑了文本信息，未曾考虑图片信息。

发明内容

本发明提供一种基于注意力机制的双模态情感分析方法，充分挖掘模态内的高维特征并利用模态间的交互信息，得到较好的分类结果。

为解决上述技术问题，本发明的技术方案如下：

一种基于注意力机制的双模态情感分析方法，包括以下步骤：

S1：获取文本数据和图片数据，所述文本数据和图片数据中的文本图片一一对应，并对文本数据和图片数据进行预处理；

S2：对于文本数据，将文本编码为词向量后作为文本模态的输入；对于图片数据，将图片编码为图片向量作为图片模态的输入；

S3：分别提取文本模态和图片模态的模态内高维特征；

S4：采用模态间的双向注意力机制和门控多模态单元对文本模态和图片模态的数据进行深层次的交互提取工作，提取模态间互补特征，得到文本侧模态间互补特征表示和图片侧模态间互补特征表示；