[发明专利]一种基于注意力机制的图文情感识别方法

权利要求书

1.一种基于注意力机制的图文情感识别方法，其特征在于：该方法执行步骤如下：

步骤1、对图文评论数据进行预处理，转化成输入模型需要的数据格式；

步骤2、利用预训练的模型对预处理后的文本特征、图片数据进行初步的特征提取，得到文本特征、图片特征；

步骤3、将步骤2得到的文本特征、图片特征互相作为辅助信息，输入到跨模态编码层，利用交叉注意力机制学习不同模态之间的交互作用；

步骤4、将步骤3得到的文本特征、图片特征以及多模态特征分别输入到自注意力编码层对特征内部中不同维度的信息分配合理的权重，进行进一步的特征选择；

步骤5、将步骤4得到的文本特征、图片特征、多模态特征分别输入到各自多层感知机中得到情感识别结果；

步骤6、赋予各个分类器得到的情感类别概率各自的权重，通过加权的方式进行决策级融合，得到最终的情感分类结果。

2.根据权利要求1所述的一种基于注意力机制的图文情感识别方法，其特征在于：

数据预处理步骤：特殊符号删除：在社交媒体平台上，用户发布的内容中通常包含一些特殊符号，比如指向其他用户的“@”符号，并且该符号后面的信息往往与用户隐私有关，在情感分析任务中没有用处，因此，@之后的单词需要删除；

分词：使用常见的分词工具将评论文本划分成单词，单词成为进一步文本处理的的基本单位；去除停用词：在自然语言处理中，删除文本评论中的常见停用词。

3.根据权利要求1所述的一种基于注意力机制的图文情感识别方法，其特征在于：

由步骤1得到文本评论的单词序列{w_i,...w_m},将特殊标记[CLS]添加到单词序列的开头，特殊标记[SEP]添加到单词序列的结尾，通过预训练的Roberta模型将单词w_i映射成768维向量：图片提取采用先进的预训练模型Resnet152。

4.根据权利要求1所述的一种基于注意力机制的图文情感识别方法，其特征在于：将步骤2得到的文本特征、图片特征互相作为辅助信息，输入到跨模态编码层，利用交叉注意力机制学习不同模态之间的交互作用；注意力机制旨在从一组与查询向量x相关的上下文向量{y_i}中挖掘信息；一个注意力层首先计算查询向量x和每个上下文向量y_i之间的匹配分数；然后将分数通过softmax函数归一化，注意力层的输出是上下文向量和归一化后的分数的加权和。

5.根据权利要求1所述的一种基于注意力机制的图文情感识别方法，其特征在于：

采用跨模态transformer编码层分别利用文本特征挖掘图片中的情感区域以及利用图片特征挖掘文本描述中与图片关联的情感词，跨模态编码器中的每一层都由一个双向交叉注意力子层和两个前馈子层组成，在交叉模态编码器中堆叠N_c层，将第k层的输入用作第k+1层的输出；在第k层的内部，首先应用双向的交叉注意力子层，它包含两个单向的交叉注意力子层：一个从语言到视觉，一个从视觉到语言：

交叉注意力层被用来在两种模态之间交换信息和对齐实体，充分挖掘图文数据间的关联性和互补性。