[发明专利]基于特征融合的多模态社交媒体情感分析方法

说明书

本发明公开了基于特征融合的多模态社交媒体情感分析方法，包括以下步骤，S1：对待分析的多模态社交媒体图文数据进行预处理；S2：基于多头注意力机制，从预处理后的多模态社交媒体图文数据中提取文本情感特征；S3：使用深度残差网络从预处理后的多模态社交媒体图文数据中提取图像情感特征；S4：根据提取出来的文本情感特征和图像情感特征，进行情感分类和图文情感倾向的相关性分析。本发明中的多模态社交媒体情感分析方法可以显著提高情感识别精度，为多模态社交媒体情感分析提供新的思路。

技术领域

本发明涉及情感分类技术领域，尤其涉及基于特征融合的多模态社交媒体情感分析方法。

背景技术

随着信息技术的发展，社交媒体渐渐成为人们生活不可或缺的一部分。人们通过微博、知乎、豆瓣等社交平台分享个人观点、了解时事新闻、掌握朋友动态过程中，也表达了不同的情绪。情感分析是自然语言处理的一项核心任务，旨在识别对观点、情感和评价的情感极性。通过对社交媒体的数据进行情感分析，不仅有利于学者准确地了解人们在现实世界中的生活态度与生活习惯，更能把握人们在医疗保健、政治话题、电视电影及线上购物等领域的选择。

按照输入数据的模态分类，情感分析可分为单一模态和多模态分析。现有研究主要集中在单一模态，随着现代网络信息正在向多媒体的形式转化，近年来多模态受到了人们越来越广泛的关注，在医疗问答、假新闻识别、标题党检测等领域逐渐开始应用。与单模态相比，多模态需要在处理好单模态内部信息的基础上，还需要处理好不同模态间的交互信息。

由于社交媒体信息具有多样性，因此，进行多模态情感分析具有重要的意义。例如，用户在发微博时，通常会配上表情包来形象化表达当时的情感，抑或是通过图片来表达文字中的反讽含义。因此，为了提高针对社交媒体的情感分析的准确性，综合考虑文本和图像信息具有重要意义。然而，现有的研究大多不能有效地利用视觉信息和文本信息之间的关系及影响。

发明内容

针对上述存在的问题，本发明旨在提供一种基于特征融合的多模态社交媒体情感分析方法，可以显著提高情感识别精度，为多模态社交媒体情感分析提供新的思路。

为了实现上述目的，本发明所采用的技术方案如下：

基于特征融合的多模态社交媒体情感分析方法，其特征在于，包括以下步骤，

S1：对待分析的多模态社交媒体图文数据进行预处理；

S2：基于多头注意力机制，从预处理后的多模态社交媒体图文数据中提取文本情感特征；

S3：使用深度残差网络从预处理后的多模态社交媒体图文数据中提取图像情感特征；

S4：根据提取出来的文本情感特征和图像情感特征，进行情感分类和图文情感倾向的相关性分析。

进一步的，步骤S1中所述的预处理操作具体包括以下步骤，

S101：给予每组图文数据三个注释标记，遵循采用含有两个及以上相同标记的原则，去除少量无法辨别的数据项带来的干扰；

S102：对于同一组图文数据，将具有完全对立的标记排除，具有消积-中性的数据标记为消极，将具有积极-中性的数据标记为积极。

进一步的，步骤S2的具体操作包括以下步骤，

S201：使用BERT模型，为图文数据中的每个单词，以及每个单词基于句子中的其他单词分别生成一个词向量；所述词向量由三个向量相加组合而成，分别是单词向量，单词在句子中所属位置的向量以及句子在单个文本中所属位置的向量；

S202：将单词向量，单词在句子中所属位置的向量以及句子在单个文本中所属位置的向量对应至Encoder模型的三个线性层query_layer、key_layer和value_layer；