[发明专利]一种基于描述文本的视频问答方法

说明书

本发明公开了一种基于描述文本的视频问答方法，属于自然语言处理和计算机视觉领域。本发明将视频的视觉信息通过文本来进行描述，在特征提取时考虑了常识特征的获取，在生成视频描述时对问题单词进行了短语级划分并基于短语使用了多重注意力，此外，还利用了知识库对视频描述内容做进一步的扩充，使得生成的视频描述包含视频的绝大部分视觉信息，之后，将视频描述和问题进行语义上的交互和分析，得到新的融合特征，最后将该特征输入到分类器中进行分类得到预测的答案，同时利用了知识库对答案的语义进行判断。本发明避免了跨模态信息融合的分析的困难，并使用了知识库对描述信息进行补充，从而提升了视频问答的准确率。

技术领域

本发明属于自然语言处理和计算机视觉领域，尤其涉及一种基于描述文本的视频问答方法。

背景技术

视频问答通常是指给计算机提供一段视频以及几个与视频内容相关的问题，让计算机理解视频内容并用自然语言回答出这些问题，近年来一直吸引着研究者的关注，是一项重要的多模态理解任务，其在现实中也有很多应用场景，比如提高机器人人机交互的能力、帮助视觉障碍人士获取视频信息、快速获取视频信息等等。

随着神经网络的飞速发展，近年来开始出现了基于深度学习的问答系统。早期的视频问答系统侧重于将视觉信息和文本信息分开处理，在模型的最后阶段再进行特征的融合来推理答案。CVPR2017年会议论文集，TGIF-QA:Toward Spatio-Temporal Reasoning inVisual Question Answering，1359-1367页公开了一种分别提取视频的视觉信息和问题的问题特征，最后融合两者推理答案的方法，该方法采用C3D和ResNet神经网络分别在时间和空间两个维度提取视频的视觉特征并融合，利用LSTM网络提取问题的文本特征，之后将融合后的视觉特征和文本特征编码，最后解码得到答案。之后，许多研究者都投身于改进基于深度学习的问题系统，比较有代表性的改进是注意力机制以及记忆网络的使用。但是，目前的大多数方法由于将视觉信息和文本信息这两种不同模态的信息融合，导致相应的信息利用的不够充分。具体来说，现有的视频问答方法无法有效地通过高层次神经网络表达视频中与问题相关的信息，从而在问答问题时无法充分利用视频的信息，使得生成的答案不准确。

发明内容

针对现有方法的不足，本发明提出了一种基于描述文本的视频问答方法，考虑将视频特征通过文字进行描述，并利用知识库补充描述文本的内容，再将视频的相关描述与问题文本进行融合推理，挖掘问题与描述之间的潜在关联，最后进行分类得到预测答案，并通过知识库进行预测答案和预期答案的语义关系判断。

技术方案：为实现本发明的目的，本发明所采用的技术方案是：一种基于描述文本的视频问答方法，包括如下步骤：

步骤1，根据所有问题和答案生成相应的先验知识库G；

步骤2，通过卷积神经网络提取视频的帧特征和运动特征，并表示为二组固定维度的特征实值向量Vf、Vm；

步骤3，通过常识特征提取网络提取视频帧的常识特征实值向量Vc；

步骤4，将视频特征实值向量Vf、Vm以及常识特征实值向量Vc进行注意力计算，得到视频最终的特征向量表示Φ(V)；

步骤5，将视频特征表示Φ(V)以及问题文本通过描述网络生成视频描述文本Dw；

步骤6，通过对视频描述文本Dw进行关键词提取，在先验知识库G中查询相应的知识，根据查询结果生成补充描述Gw，并将视频描述文本Dw和补充描述Gw两者合并得到最终的描述文本Vd；

步骤7，对视频描述文本Vd和问题文本进行特征提取，利用问答处理网络对两者进行处理，将处理结果输入到分类器中得到预测的答案，结合先验知识库G判断预测的准确性，完成基于描述文本的视频问答。

作为优选，步骤1的具体步骤为：