[发明专利]利用自适应的时空图模型通过提升视频-语言表征学习来解决视频问答问题的方法及其系统

说明书

本发明公开了一种利用自适应的时空图模型通过提升视频‑语言表征学习来解决视频问答问题的方法及其系统，属于视频问答文本生成领域。首先，针对一组视频、问题、答案训练集，使用目标检测器获取每个视频帧的目标级别的信息。其次，对于目标级别的信息，使用自适应的时空图模型学到目标的动态表达。最后，使用Transformer模型学习视觉和文本信息之间的联系，增强视觉问答的性能。相比于一般的视频问答解决方案，本发明利用了自适应的时空图模型更好地获取了目标的时空动态信息，同时试图将不同视频帧的相同物体联系起来，更好地捕获动态信息，并采用了图片‑语言数据进行预训练来提升视频‑语言模型，提升了解决视频问答问题的效果。

技术领域

本发明涉及视频问答文本生成领域，尤其涉及一种利用自适应的时空图模型通过提升视频-语言表征学习来解决视频问答问题的方法及其系统。

背景技术

视觉语言研究的热点是对视觉内容、语言语义及其相互关系的理解。视频问答是典型的任务之一。最近，一些BERT风格的视觉语言预训练方法被提出，并显示出在各种任务上的有效性。在这项工作中，本发明还利用成功的视觉语言Transformer解决了视频问答的问题。

现有的技术方案，比如ViLBERT和LXMBERT都采用了基于模态内或者跨模态关系的掩码技术进行预训练，这种训练方法和BERT的方法很类似。但是现有的有标注的视频数据很少，而预训练需要大量的数据，所以上述方法效果都不太理想。为了解决数据问题，visualBERT方法和CBT方法尝试采用视频网站上面的大量的无标签数据进行自监督预训练。但是由于这些视频的视觉特征更加动态多样，没有足够的结构化的信息，导致预训练效果不理想。并且这样的预训练需要大量的计算资源，而仅用几个gpu是很难做到的。

此外，现有技术中的模型往往只单独关注了空间建模或者时间建模，缺乏时空关系，建模不充分。并且在时间建模上往往只关注第一帧和最后一帧的关系，在长视频的应用效果上较差。

发明内容

本发明的目的在于解决现有技术中的问题，提出了一种利用自适应的时空图模型通过提升视频-语言表征学习来解决视频问答问题的方法及其系统，通过自适应的时空图模型来提升视觉-语言表征的性能，并且采用了图片-语言数据集对视频-语言Transformer模型中的Transformer模块进行预训练，显著提高了模型的预测效果。

发明所采用的一种利用自适应的时空图模型通过提升视频-语言表征学习来解决视频问答问题的方法，具体如下。

1)对于一段视频，采用目标检测技术提取出每个视频帧中的目标级别特征，将目标级别特征组合后获得视频帧中的初始区域特征。

2)构建由多层时空图组成的时空图模型，每一层时空图均包括空间图模型和时序图模型，采用空间图模型对区域特征进行空间更新。

构建视频帧中每一个目标区域对应的锚管并根据视频帧依次更新，然后将锚管里面的目标按照时序排列，形成时空管，利用所述时空管中的目标构成时序图，对空间更新后的区域特征进行时序更新。

将步骤1)获得的初始区域特征作为第一层时空图的输入，并将前一层时空图输出的时序更新后的区域特征作为下一层时空图的输入，形成由多层时空图组成的时空图模型；最后一层时空图的输出作为时空图模型的最终输出，再经时序GRU编码后获得视频管级别的表征。

3)构建视频-语言Transformer模型，包括步骤2)所述的时空图模型和Transformer模型，将问题语句以及经步骤2)输出的视频管级别的表征作为Transformer模型的输入，根据问题的标准答案对视频-语言Transformer模型进行训练。

4)针对待处理的问题语句，使用训练好的视频-语言Transformer模型直接获得所要解答的问题的答案。

本发明的另一目的在于提供了一种用于实现上述方法的系统。