[发明专利]一种基于动作捕捉的注意力网络的视频问答方法

权利要求书

1.一种基于动作捕捉的注意力网络的视频问答方法，其特征在于，包括以下步骤：

(1)、特征提取

(1.1)、将待处理视频输入至Faster RCNN网络中，提取出每一视频帧中物体的特征，其中，第j帧中第k个物体的特征记为v_j,k，j＝1,2…,N，k＝1,2,…,K，N表示视频的总帧数，K表示每帧画面提取的物体个数；

(1.2)、将待处理视频分割成多个视频片段，然后将每一个视频片段输入至ResNeXt网络，提取出每一个视频片段的特征，记为v_i，i＝1,2,…,C，C为待处理视频被分割成视频片段的数量；

(1.3)、将待处理的提问先后经过Bi_LSTM网络和自注意力机制的处理，提取出提问的特征，记为q；

(2)、基于物体动作注意力机制提取动作信息u；

(2.1)、通过双向Bi_LSTM网络提取物体的动作信息u_j,k；

u_j,k＝Bi_LSTM(v_j,k)

(2.2)、使用物体动作注意力机制对不同时刻的特征进行加权，得到当前物体k在整个视频内的全局动作信息u_k；

β_j,k＝softmax(W₁u_j,k+W₂q)

其中，W₁、W₂为权重参数；β_j,k表示第j帧中第k个物体的重要程度指标；

(2.3)、使用物体动作注意力机制提取整个视频与提问有关的动作信息u；

α_k＝softmax(W₃u_k+W₄q)

其中，W₃、W₄为权重参数；α_k表示第k个物体与提问的关联程度指标；

(3)、基于物体关系注意力机制提取待处理视频的全局物体关系信息μ；

(3.1)、使用物体关系注意力机制计算当前视频帧j中的物体关系信息μ_j；

γ_j,k＝softmax(W₅v_j,k+W₆q)

其中，W₅、W₆为为权重参数，γ_j,k是第j帧中第k个物体的关系值；

(3.2)、将不同时刻的物体关系信息μ_j按先后顺序构成序列，然后输入至Bi-LSTM网络，从而提取出整个视频的全局物体关系信息μ；

μ＝Bi_LSTM(μ₁,μ₂,…,μ_j,…μ_N)

(4)、基于全局动作注意力机制提取待处理视频的全局动作信息U；

(4.1)、计算第i个视频片段的特征v_i的权重值λ_i；

λ_i＝softmax(W₇v_i+W₈q)

其中，W₇、W₈为权重参数；

(4.2)、使用全局动作注意力机制计算整个视频的全局动作信息；

(5)、提取待处理视频的全局特征向量f；

(5.1)、对三种注意力机制下提取的信息进行融合：表示向量拼接操作；

(5.2)、提取整个视频的全局特征向量f；

其中，与φ(q)表示统一向量与q的维度，表示向量的对应元素乘积；

(6)、根据提问的格式输出不同类型答案；

(6.1)、确定待处理的提问的格式，具体包括三种提问格式：选择式、开放式单词、开放式数字；

(6.2)、当待处理的提问为选择式时，将待处理的提问视为一个五分类的场景，再利用LSTM网络提取每类场景的特征c_τ，τ＝1,2,3,4,5；然后计算出每类场景的概率值最后选出最大的一个概率值作为预测结果；

(6.3)、当待处理的提问为开放式单词时，将待处理的提问视为一个N多分类的场景，然后利用softmax函数提取N类场景的概率矩阵P，最后在概率矩阵P中选择最大概率值对应的单词作为预测结果；

(6.4)、当待处理的提问为开放式数字时，将待处理的提问视为一个线性回归问题，通过全连接层将全局特征向量f转为实数并取整作为预测结果，即最终预测结果为：