[发明专利]一种基于门控融合和多任务学习的视频情感分类方法

权利要求书

1.一种基于门控融合和多任务学习的视频情感分类方法，其特征在于，所述方法包括：

输入视频，通过情感分类模型，获得情感分类，其中，情感分类模型包括特征提取模块、GRU网络、基于带门机制的多模态Transformer架构、LSTM和第三全连接网络、单模态标签生成模块、多任务学习网络和训练模块，情感分类模型的训练方法包括：

S1、将输入情感分类模型的视频传送到特征提取模块，特征提取模块对视频进行分离得到多模态数据，然后提取并转化多模态数据特征为多模态初始特征向量；

S2、将多模态初始特征向量输入GRU网络，获得维度为Z的若干第一单模态特征向量；

S3、将第一单模态特征向量输入基于带门机制的多模态Transformer架构，生成模态融合向量，模态融合向量拼接后得到多模态最终向量表示；

S4、将多模态初始特征向量输入LSTM和第一全连接网络，生成维度为Z的第二单模态向量表示；

S5、将多模态最终向量表示、第二单模态特征向量表示和多模态情感标签输入单模态标签生成模块，生成单模态情感标签；

S6、将多模态最终向量表示和第二单模态特征向量输入多任务学习网络，输出多模态情感预测值和单模态情感预测值；

S7、将多模态情感预测值和单模态情感预测值和已知的多模态情感标签和计算得到的单模态情感标签输入训练模块比较，训练模块对情感分类模型中的参数进行调整。

2.根据权利要求1所述的方法，其特征在于，所述多模态为文本模态、图片模态和音频模态。

3.根据权利要求2所述的方法，其特征在于，使用Bert模型获得单词的特征向量表示F_t，使用Facet和Openface获得图片的特征向量表示F_v，使用COVAREP库获得音频的特征向量表示F_a。

4.根据权利要求2所述的方法，其特征在于，所述步骤S2中，维度Z为文本模态维度。

5.根据权利要求1所述的方法，其特征在于，在带门机制的多模态Transformer架构包括多头注意力机制、第一映射模块、残差连接和归一化模块，第一记忆门、第二记忆门和混合门，其中，

多头注意力机制接收第一输入向量A1和第二输入向量A2，输出融合向量M；

第一映射模块接收第一输入向量A1和第二输入向量A2，将A1和A2转化到同一向量空间并池化，然后将得到的向量输入第一记忆门、第二记忆门和混合门；

第一记忆门、第二记忆门、混合门通过各自的全连接网络和激活函数分别获得第一输入向量A1进行残差连接的系数、第二输入向量A2进行残差连接的系数、融合向量M进行残差连接的系数；

残差连接和归一化模块，用于融合向量M和第一输入向量A1、第二输入向量A2的残差连接和归一化计算，从而获得第一输入向量A1和第二输入向量A2的模态融合向量。

6.根据权利要求5所述的方法，其特征在于，所述步骤S3中，模态融合向量的生成方法包括：

S31、接收两个第一单模态特征向量，分别用m1和m2来代表；

S32、第一Transformer架构和第二Transformer架构第一层的操作包括：

将m1为主模态、m2为辅模态作为第一输入向量和第二输入向量输入第一Transformer架构的第一层，获得融合向量

将m2为主模态、m1为辅模态作为第一输入向量和第二输入向量输入第二Transformer架构的第一层，获得融合向量

S33、对于第一Transformer架构和第二Transformer架构第1层之后的操作包括：

将融合向量和作为第一输入向量和第二输入向量输入中第i层的第一Transformer编码器，获得融合向量

将融合向量和作为第一输入向量和第二输入向量输入中第i层的第二Transformer编码器，获得融合向量和

重复上述步骤，直到获得两个第一单模态特征向量的模态融合向量。