[发明专利]一种基于门控融合和多任务学习的视频情感分类方法

说明书

本发明从视频提取出文本、图片和音频的特征向量；用GRU对各模态的特征向量编码得到各模态特定维度的向量表示；用带门机制的Transformer将各模态信息进行融合并将融合向量拼接作为多模态向量表示；用LSTM和全连接网络对各模态的特征向量编码得到各模态转换的向量表示；用多模态向量表示、各模态转换的向量表示和多模态情感标签计算得到单模态情感标签；结合多模态情感标签和单模态标签进行多任务学习，同时进行多模态情感分类、单模态情感分类。本发明提供的视频情感分类方法使用融合后的多模态向量表示参与生成单模态标签，提高了单模态标签的准确度；还采用多任务学习的方式，同时进行多模态情感分类和单模态情感分类，提升了视频情感分类的效果。

技术领域

本发明涉及自然语言处理和深度学习技术领域，特别涉及一种基于门控融合和多任务学习的视频情感分类方法。

背景技术

随着网络的飞速发展，在哔哩哔哩、抖音、快手等视频网站上，很多用户通过录制视频来将自己的观点分享在上面，例如有的用户会在B站上传视频分享某些商品的使用体验。在这种情况下，用户急需一种可以得到视频发布者情感极性的方法，以进行对商品的评判，让其他用户可以以此决定是否购买此商品。不同的视频片段可能表达不同的情感，且视频的数量随着时间的推移急剧增长，使用人力进行对情感极性的分析是不现实的。因此，如何从多模态形式的数据中挖掘出蕴含的情感已经成为亟待解决的问题。

每一种信息的来源或形式，都可以称为模态，而从视频分离出的文本、图片和音频构成了现实当中最常见的三种模态，随着网络上的多模态内容地不断增长，多模态情感分类的任务应运而生。视频情感分类是多模态情感分类中的一种，是从视频中分离出文本模态、图像模态和音频模态，并分别对三个模态进行特征提取，然后使用深度神经网络对三个模态进行融合，最终进行情感分类的过程。视频情感分类作为多模态情感分类的核心组成部分，有着重要的意义，逐渐成为近几年的研究热点。

现有的视频情感分类方法例如Yu等人提出的Self-MM模型和Junyan等人提出的SPT模型，Self-MM模型使用自监督的生成策略去生成单模态的标签而无需人为标注，解决了大多数据集无法进行多任务学习的缺点，使得模型的泛化能力得到提升。但是Self-MM模型在生成单模态标签时，其多模态全局表征向量仅仅来源于三个模态向量的简单拼接，并不是经过深层次编码的多模态信息，使得生成的单模态标签准确度不高，这也限制了情感分类的效果。SPT模型通过参数共享和因式分解等手段降低了参数量，提高了模型的实用性。但仅仅关注模态之间的融合交互，忽略了单模态的信息，致使融合后的信息不完整，一定程度上限制了情感分类的效果。

发明内容

为了解决现有视频情感分类方法往往只关注模态的融合交互，忽略单模态的信息，没有充分考虑模态间的一致性和差异性的问题，本发明提供了一种基于门控融合和多任务学习的视频情感分类方法及系统。

为实现上述目的，本发明提出一种基于门控融合和多任务学习的视频情感分类方法，所述方法包括：

输入视频，通过情感分类模型，获得情感分类，其中，情感分类模型包括特征提取模块、GRU网络、基于带门机制的多模态Transformer架构、LSTM和第三全连接网络、单模态标签生成模块、多任务学习网络和训练模块，情感分类模型的训练方法包括：

S1、将输入情感分类模型的视频传送到特征提取模块，特征提取模块对视频进行分离得到多模态数据，然后提取并转化多模态数据特征为多模态初始特征向量；

S2、将多模态初始特征向量输入GRU网络，获得维度为Z的若干第一单模态特征向量；

S3、将第一单模态特征向量输入基于带门机制的多模态Transformer架构，生成模态融合向量，模态融合向量拼接后得到多模态最终向量表示；

S4、将多模态初始特征向量输入LSTM和第一全连接网络，生成维度为Z的第二单模态向量表示；