[发明专利]视频问答的交互方法及系统

说明书

本发明涉及一种视频问答的交互方法及系统，所述交互方法包括：从待处理的原始视频及与问题文本中，得到文本特征以及各帧图像中多个目标的第一视觉特征及第一语义特征；针对每帧图像中的每一目标，根据文本特征以及目标的第一视觉特征及第一语义特征，确定目标的第二视觉特征及第二语义特征；根据文本特征、目标的第二视觉特征及第二语义特征，得到该帧图像的第一全局视觉表示及第一全局语义表示；根据文本特征及各帧图像的第一全局视觉表示及第一全局语义表示，得到各帧图像的全局视觉表示；根据文本特征及各帧图像的全局视觉表示，得到原始视频的全局视觉特征表示；根据所述全局视觉特征表示及文本特征，可准确得到所述原始视频的问题答案。

技术领域

本发明涉及计算机视觉和自然语言处理技术领域，特别涉及一种基于层级视觉-语义图记忆网络的视频问答的交互方法及系统。

背景技术

视频问答任务是一个跨越计算机视觉和自然语言处理领域的交叉学科。该任务旨在根据视频内容来回答相应的问题，涉及到许多计算机技术，包括视频目标识别、信息检索、关系推理等。这些都需要机器能够理解视频内容，因而视频理解是该任务的核心问题。视频问答在实际中有许多应用，比如自动救援搜索、辅助视觉障碍患者、智能家居管理等。

为了能更好的理解视频内容，机器必须理解视频帧中目标之间的关系以及视频帧之间的关系，因而关系的推理建模是视频理解的核心。目前的方法存在两个重要的缺陷：第一，这些现有方法要么只建模目标级别的关系，要么只建模视频帧级别的关系，没有去联合地建模这两类关系；第二，这些现有方法只考虑视觉关系的推理和建模，忽视了利用语义知识来建模语义关系。这些缺陷严重地限制了机器对视频的理解程度，从而影响问答的准确性。

发明内容

为了解决现有技术中的上述问题，即为了提高针对视频问题的答案的准确性，本发明的目的在于提供一种视频问答的交互方法及系统。

为解决上述技术问题，本发明提供了如下方案：

一种视频问答的交互方法，所述交互方法包括：

从待处理的原始视频及与所述原始视频对应的问题文本中，得到文本特征以及各帧图像中多个目标的第一视觉特征及第一语义特征；所述原始视频包括多帧图像；

针对每帧图像中的每一目标，根据所述文本特征以及目标的第一视觉特征及第一语义特征，确定目标的第二视觉特征及第二语义特征；

根据所述文本特征、目标的第二视觉特征及第二语义特征，得到该帧图像的第一全局视觉表示及第一全局语义表示；

根据所述文本特征及各帧图像的第一全局视觉表示及第一全局语义表示，得到各帧图像的全局视觉表示；

根据所述文本特征及各帧图像的全局视觉表示，得到原始视频的全局视觉特征表示；

根据所述全局视觉特征表示及文本特征，得到所述原始视频的问题答案。

可选地，所述从待处理的原始视频及与所述原始视频对应的问题文本中，得到文本特征以及各帧图像中目标的第一视觉特征及第一语义特征，具体包括：

通过目标区域定位网络从原始视频的各帧图像中定位出目标区域；

针对每帧图像，从所述目标区域中提取目标的多个第一视觉特征；

根据各目标区域预测类别标签，得到语义标签；

通过词向量模型从所述语义标签中提取目标的多个第一语义特征；

利用词向量模型和循环神经网络，从问题文本中提取问题的文本特征。

可选地，所述根据所述文本特征以及目标的第一视觉特征及第一语义特征，确定目标的第二视觉特征及第二语义特征，具体包括：

根据所述文本特征及目标的第一视觉特征，建立目标级别的视觉关系网络；