[发明专利]基于空间-时间图推理网络的多形态语句视频定位方法

说明书

本发明公开了一种基于空间‑时间图推理网络的多形态语句视频定位方法，属于自然语言视觉定位领域。本发明首先将视频解析为空间‑时间区域图，不仅有每个帧的隐式和显式空间子图，而且有跨帧的时间动态性子图。接下来，将文本线索加入到该空间‑时间区域图中，建立多步跨模态图推理。多步过程可以支持多序关系建模。之后，使用时间定位器确定管道的时间边界，然后应用具有动态选择方法的空间定位器将对象在每个帧中定位，生成平滑的管道。本发明对自然语言进行定位时无需对视频进行修剪，降低了视频定位的成本；可以有效处理疑问句和陈述句，为更高层的自然语言处理和计算视觉结合研究(如视频问答等)提供了技术支持，应用前景广阔。

技术领域

本发明涉及自然语言视觉定位领域，尤其涉及一种基于空间-时间图推理网络的多形态语句视频定位方法。

背景技术

自然语言的视觉定位是视觉理解领域中一项基本而至关重要的任务。该任务的目标是将给定自然语言所描述的对象从时间、空间上在视觉内容中进行定位。近些年，研究人开始关注自然语言(语句)在视频中的定位，包括时间定位和空间-时间定位。时间定位可以获得所述物体在视频中出现的时间片段；空间-时间定位在时间定位的基础上还要获得物体出现的区域，这种一系列物体所在区域组成的集合因具有时间和空间上的连续性，因此又被称作空间-时间管道(spatio-temporal tube)。

目前人们实现的方法较少而且限制性较强。现有的视频定位方法经常从修剪后的视频中提取一组空间-时间管道，然后识别与句子匹配的目标管道。但是，此框架可能无法完成针对多形态语句的空间-时间视频定位(Spatio-Temporal Video Grounding forMulti-Form Sentences，STVG)。一方面，该框架的性能在很大程度上取决于候选管道的质量，但是很难在没有文本线索的情况下预先生成高质量的管道，因为句子可能会在很小的片段中描述对象的短期状态，但是现有的管道预生成框架只能产生修剪过的视频中的完整对象管道。另一方面，这些方法仅考虑单管道建模，而忽略对象之间的关系，因此无法处理带有位置对象的疑问句，只能处理传统的陈述句。但是，对象关系是STVG任务的重要线索，尤其是对于可能仅提供未知对象与其他对象的交互作用的疑问句，由于缺少对象的显式特征，定位疑问句只能依赖于未知对象与其他对象之间的关系(例如动作关系和空间关系)，说明关系模型的构建和跨模态关系推理至关重要。因此，现有方法无法处理STVG任务。

另外，现有的视觉图建模方法经常在图像中构建空间图，无法利用视频中的时间动态信息来区分对象动作的细微差异，例如区分“开门”和“关门”。因此，亟需一种能够解决多形态语句的视频定位任务的方法，针对给定的未修剪的视频和有关描述对象的陈述句或疑问句，定位所查询对象的空间-时间管道。

发明内容

针对现有技术不能解决多形态语句的视频定位任务的缺陷，本发明提出了一种基于空间-时间图推理网络的多形态语句视频定位方法，首先将视频解析为空间-时间区域图，本发明的空间-时间区域图不仅有每个帧的隐式和显式空间子图，而且有跨帧的时间动态性子图。空间子图可以通过隐式或显式注意力机制获得区域级别的关系，而时间动态性子图可以将对象的动态性和跨帧变换考虑在内，以进一步提高网络对物体间关系的理解。接下来，将文本线索加入到该空间-时间区域图中，建立多步跨模态图推理，多步过程可以支持多序关系建模。之后，使用时间定位器确定管道的时间边界，然后应用具有动态选择方法的空间定位器将对象在每个帧中定位，生成平滑的管道。

为了实现上述目的，本发明采用如下技术方案：

基于空间-时间图推理网络的多形态语句视频定位方法，包括如下步骤：

S1：针对一段视频，利用Faster-RCNN网络提取视频中每一个帧的视觉特征，构成视频帧的视觉特征集合；并从每一个视频帧中提取K个区域，得到区域特征向量及区域边框矢量，构成视频中帧级别的区域集合；