[发明专利]一种基于多模态融合的视频常识性知识推理实现方法

权利要求书

1.一种基于多模态融合的视频常识性知识推理实现方法，其步骤包括：

1)对输入视频分别提取帧内空间特征V_i、帧间时序特征V_t以及声音特征V_s；

2)将帧内空间特征V_i、帧间时序特征V_t以及声音特征V_s进行融合，得到该输入视频的多模态的视频特征V_E；

3)对该输入视频的描述性文本进行特征抽取，得到语言特征C_cap，并将视频特征V_E和语言特征C_cap进行融合，得到上下文特征[V_E，C_cap]；

4)将所述上下文特征[V_E，C_cap]输入常识推理解码器得到答案的概率分布，然后根据所得答案的概率分布预测该输入视频的常识性知识文本序列。

2.如权利要求1所述的方法，其特征在于，得到所述视频特征V_E的方法为：将帧内空间特征V_i通过一个线性层以及一个长短期记忆网络映射到一特征空间，并添加帧内空间特征V_i对应的位置编码PE_i和段编码SE_i，得到特征E_i；将帧间时序特征V_t通过一个线性层以及一个长短期记忆网络映射到一特征空间，并添加帧间时序特征V_t对应的位置编码PE_t和段编码SE_t，得到特征E_t；将声音特征V_s通过一个线性层以及一个长短期记忆网络映射到一特征空间，并添加声音特征V_s对应的位置编码PE_s和段编码SE_s，得到特征E_s；然后将E_i，E_t，E_s进行融合，得到所述视频特征V_E＝[E_i，E_t，E_s]。

3.如权利要求1所述的方法，其特征在于，得到所述语言特征C_cap的方法为：将该输入视频的描述文本经过嵌入层编码以及位置编码得到文本摘要编码T_cap，然后将T_cap作为摘要解码器查询向量Q、将视频特征V_E作为摘要解码器的键K和值y向量，进行多头注意力机制的计算，得到所述语言特征C_cap。

4.如权利要求3所述的方法，其特征在于，进行多头注意力机制的计算公式为：

y_t＝FFN(Z)、其中，d_k为键K的维度，FFN是前馈网络，是摘要解码器的优化函数，y_t是需要预测的词元，v是输入视频，Θ_cap为摘要解码器的模型参数。

5.如权利要求4所述的方法，其特征在于，得到答案的概率分布的方法为：常识推理解码器利用历史预测的词元y_t-1通过内存记忆模块MMHA得到一个条件注意力图A_condition；然后将该条件注意力图A_condition与多头注意力模块根据历史词元产生的特征图A_o融合得到一个引导注意力图A_guide，将该引导注意力图A_guide通过残差连接的方式桥接上层注意力图A_previous，得到融合后的注意力A_merge；然后对该注意力A_merge进行掩码操作，遮盖掉处于当前序列之后的注意力值，再送入归一化函数得到归一化后的注意力；然后将该归一化后的注意力通过与视频特征V_E进行点积并通过线性层得到答案的概率分布。

6.如权利要求1所述的方法，其特征在于，利用预测该输入视频的常识性知识文本序列；其中，D_ATT为属性解码器，D_EFF为结果解码器，D_INT为意图解码器，V_E表示输入视频的多模态特征，C_cap表示视频描述文本的特征，当前常识性知识的文本词元由历史词元C_att，C_eff，C_int按自回归方式依次产生。