[发明专利]融合情感资源的多模态情感分析模型

说明书

本发明公开了情感分析技术领域的融合情感资源的多模态情感分析模型，包括：用来进行文本、视觉与听觉模态特征初步提取的单一模态特征提取层模块，利用Transformer捕捉模态内部的动力，并设计情感词分类预测任务进行情感嵌入学习和提取的单一模态特征深度提取层模块，利用情感嵌入来完成多模态特征交互学习，使得其他模态特征能够感知文本中情感信息的跨模态交互学习层模块，将前三层学习到的情感特征表示最终输入深度神经网络完成最终预测任务的预测层模块，首个将情感资源作为主导信息来进行多模态情感分析的模型，设计了一种情感词分类预测任务进行情感知识学习，相较于现有的多模态情感分析方法，本申请的方法具有明显优势和较好的泛化性。

技术领域

本发明涉及情感分析技术领域，具体为融合情感资源的多模态情感分析模型。

背景技术

情感是人际交流中最为重要的信息之一，情感表达有助于人们了解到彼此对于事物的态度，促进人与人之间的沟通和理解。随着人工智能技术的发展，特别是以Facebook、YouTube等为代表的社交媒体平台的迅速兴起以及智能客服、餐饮服务机器人等人工智能产品的普及，情感分析技术越来越被重视。通过情感分析技术，各类产品和媒体平台能够对用户的情感和意图拥有更加精准的理解能力，正因为如此，情感分析受到了学术界和工业界广泛的关注和深入研究。

情感分析旨在识别用户对于事物或人的看法和态度，该类研究在理解不同群体的人及其意图方面发挥着重要的作用。传统的情感分析主要通过单模态数据来对研究对象的情绪进行分析和识别，但是由于单模态数据鲁棒性不足，容易受到主观意识和外界环境的影响，因此往往导致识别率不高。例如在面部遮挡、语音受到噪声干扰等场景下，单一模态包含的有效信息会减少，导致情感分析准确率下降。

为了充分利用多种模态数据内蕴含的信息，提高情感分析的准确率，多模态情感分析引起了广泛的关注。多模态情感分析旨在通过语音信号、视觉信号等多种维度的信息来判断人的态度或情绪的倾向性。与单模态数据相比，多模态数据含有更为丰富的情感信息，通过有效的融合手段来挖掘多种模态数据间的互补信息，从而可以有效地提高情感分析的准确率，减少分类错误。目前，针对多模态数据进行融合的方法有很多，如基于图的多模态融合，基于LSTM的多模态融合等，近年来一些研究和实验表明，基于注意力的多模态融合方法在性能和效率方面更加占有优势，其中，以文本为中心进行的多模态注意力融合方法效果显著。

尽管上述研究已经在多模态情感分析方面已经取得了进展，但是多模态情感分析仍然存在挑战。情感资源(如正面词、负面词、程度副词)作为文本中表达情感极性的重要信息，在句子级别情感分类、方面级别情感分类以及意见提取等文本情感分类领域发挥了重要作用，然而在多模态情感分析领域，很少有研究注意到情感资源的有用性，并将文本模态中包含的情感知识作为关键信息纳入到多模态情感分析任务中，以至于无法充分挖掘和利用情感信息。

为了解决上述问题，本申请设计了一种基于注意力的以情感资源作为主导信息来进行模态融合的多模态情感分析模型，从文本中充分挖掘情感资源信息，并其作为增强信息与文本模态进行融合，通过基于多头注意力的架构来建模不同模态间复杂的依赖关系，学习不同模态间的信息差异，以实现多模态特征的学习和融合。

发明内容

本发明的目的在于提供融合情感资源的多模态情感分析模型，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：融合情感资源的多模态情感分析模型，包括：

用来进行文本、视觉与听觉模态特征初步提取的单一模态特征提取层模块；

利用Transformer捕捉模态内部的动力，并设计情感词分类预测任务进行情感嵌入学习和提取的单一模态特征深度提取层模块；

利用情感嵌入来完成多模态特征交互学习，使得其他模态特征能够感知文本中情感信息的跨模态交互学习层模块；

将前三层学习到的情感特征表示最终输入深度神经网络完成最终预测任务的预测层模块。