[发明专利]利用帧-字幕自监督进行多模态视频问答的方法

权利要求书

1.利用帧-字幕自监督进行多模态视频问答的方法，其特征在于，包括以下步骤：

S1：针对输入的视频、问答文本、字幕文本，提取其中的视频帧特征、问答特征、字幕特征、字幕建议特征；

S2：将视频帧特征和问答特征引入注意力机制进行融合得到带注意力帧特征；将字幕建议特征和问答特征引入注意力机制进行融合得到带注意力字幕特征；将所有带注意力帧特征和带注意力字幕特征堆叠得到融合特征；基于融合特征计算得到时间注意力得分；

S3：利用时间注意力得分计算得到问题的时间边界；

S4：利用融合特征与时间注意力得分计算得到问题答案；

S5：利用问题的时间边界和问题答案训练神经网络；

S6：优化神经网络的网络参数，得到最优神经网络，利用最优神经网络进行视频问答并划定时间边界；

所述将所有带注意力帧特征和带注意力字幕特征堆叠得到融合特征包括：

将所有带注意力帧特征和带注意力字幕特征堆叠，得到V_f∈R^T×128和S_f∈R^T×128；

将V_f和S_f相乘得到相似矩阵Sim_f∈R^T×T；

分别将视频帧对应相似矩阵和字幕对应的相似性矩阵分别与带注意力的帧特征V_f和带注意力机制的字幕特征S_f相乘：

S_fatt＝Sim_fS_f,S_fatt∈R^T×128，

得到的结果进行融合得到融合特征F∈R^T×128：

F＝([V_fatt；s_fatt；V_fatt⊙S_fatt；V_fatt+S_fatt])W₂+b₂，

其中W₂和b₂代表待训练的权重矩阵；

所述基于融合特征计算得到时间注意力得分包括：

对于得到的融合特征F∈R^T×128，通过一个全连接层和sigmoid函数计算得到时间注意力得分A_k∈R^T，所述时间注意力得分用于反映了视频帧和问题的相关程度,

A_k＝sigmoid(WF+b)

其中W为F的参数矩阵，负责将F∈R^T×128投影至R^T空间，b为偏移项，sigmoid代表sigmoid函数；

所述利用时间注意力得分计算得到问题的时间边界包括：

得到的时间注意力得分为A_k∈R^T，设定一个阈值A_t,大于阈值A_t的时间段作为时间边界的候选方案；

对于每个时间边界的候选方案，计算从开始到结束的精细化得分A_P：

其中st代表开始时刻，ed代表结束时刻.α用来控制时间长度；选择精细化划分得分最高的作为问题时间边界划分方案{st,ed}。