[发明专利]利用多重交互注意力机制解决视频中对象关系问答任务的方法

说明书

本发明公开了一种利用多重交互注意力机制解决视频中对象关系问答任务的方法，包括如下步骤：针对于一段视频，获得帧级别视频特征；获得视频中对象的位置特征和外观特征；使用多重交互注意力机制，学习得到输入问题的表达；计算时空关系矩阵；使用多重交互注意力机制，学习得到针对问题的帧级别视频表达；使用多重交互注意力机制，学习得到与问题相关的对象关系表达；在之前得到的帧级别视频表达和对象关系表达基础上，获取问题的答案。相比于一般视频问答解决方案，本发明利用新型注意力机制，能够更准确地反映视频中对象的关系，产生更加贴切的答案。本发明在视频问答中所取得的效果相比于传统方法更好。

技术领域

本发明涉及视频问答答案生成领域，尤其涉及一种利用多重交互注意力机制解决视频中对象关系问答任务的方法。

背景技术

视觉问答是一项利用计算机视觉和自然语言处理技术的重要任务。给定自然语言问题和参考视觉对象(例如图像或视频)，视觉问答的目标是自动地根据视觉内容回答问题。

在视频问答发展前，深度神经网络已经在图像问答领域取得了很大的成功，并且有了相对成熟的模型。视频问答可视为图像问答的延伸。然而，由于时间结构带来的复杂性，使视频问答变得更具挑战性，与图像问答相比，视频问答的研究发明相对较少。如何对视频的时间结构建模、如何处理视频信息的冗余以及如何获得多帧带来的信息，是目前视频问答领域面临的几大挑战。

现有方法主要关注时间注意力机制和记忆机制。Jang等人(Yunseok Jang,YaleSong,Youngjae Yu,Youngjin Kim,and Gunhee Kim.2017.Tgif-qa:Toward spatio-temporal reasoning in visual question answering.In IEEE Conference onComputer Vision and Pattern Recognition.2680–8.)提出了一种基于dual-LSTM的方法，同时应用空间注意力机制和时间注意力机制。Yu等人(Youngjae Yu,Hyungjin Ko,Jongwook Choi,and Gunhee Kim.2017.End-to-end concept word detection for videocaptioning,retrieval,and question answering.In IEEE Conference on ComputerVision and Pattern Recognition.3261–3269.)提出了一种高级别概念词检测器，它将视频作为输入，并生成一个概念词列表作为答案生成的有用语义先验。但是，上述大多数方法都依赖于RNN而不考虑对象之间的关系，无法有效过滤长视频中大量存在的冗余帧。本发明的目的在于解决现有技术中的问题，为了更好地获取视频中对象的关系，来对对象关系相关的问题做出回答。

发明内容

本发明提出了一种用于视频问答的新模型，称为多重交互网络(Multi-interaction network)。本发明所采用的具体技术方案是：

利用多重交互注意力机制解决视频中对象关系问答任务的方法，包括如下步骤：

S1：针对一段视频，利用残差神经网络，获得帧级别视频特征；

S2：利用Mask-RCNN，获得视频中对象的位置特征和外观特征；

S3：使用多重交互注意力机制，得到输入问题表达；

S4：根据步骤S2得到的视频中对象的位置特征，计算出视频中对象之间的相对关系向量，得到时空关系权重，进一步构建时空关系矩阵；

S5：在步骤S1得到的帧级别视频特征和步骤S3得到的输入问题表达的基础上，使用多重交互注意力机制，学习得到针对问题的帧级别视频表达；