[发明专利]一种基于迭代注意力机制的视觉问答模型

说明书

本发明公开了一种基于迭代注意力机制的视觉问答模型，包括三个步骤：步骤S1，构建双重注意力机制；步骤S2，迭代模型内部结构；步骤S3，答案预测；本发明使用VGGNet提取图像的特征；将问题和答案用双向LSTM方式编码；把第一部分和第二部分的结果作为输入即以图片特征向量和问题特征向量作为输入，首先两个向量分别加入注意力机制，经过计算后得到两个注意力特征向量，再进行融合得到新的图片和问题特征向量；迭代进行第三部分工作内容降低关注区域粒度，得到最后图片和问题特征向量；利用上述步骤中得到的图片和问题的特征向量预测答案分布。本发明的有益效果是：关注点在问题上，且关注区域精确，预测答案准确。

技术领域

本发明涉及到基于计算机的视觉技术领域，具体是一种基于迭代注意力机制的视觉问答模型。

背景技术

视觉问答(VQA)的关键解决方案存在于如何提取和融合从输入图像和问题中提取的视觉和语言特征；现有方法的通用框架是，视觉和语言特征在是在初始步骤从图像和问题中独立提取的，而在以后的步骤中将它们融合在一起来计算和预测；在早期研究中，研究人员采用了简单的融合方法，例如视觉和语言特征的连接、求和、乘积，然后将其馈入完全连接的层以预测答案。

到目前为止，VQA在文献中的所有关注模型都集中在视觉注意的问题上，而没有关注问题上；考虑一下这样一个问题“how many cats are in this image？”和“how manycats can you see in this image？”的问题；它们具有相同的含义，这两个问题基本上由“howmany cats”就可以确定，可见使用“howmany cats”的模型比使用与答案无关单词的模型更健壮。

此外，最近提出的大多数视觉问答模型都基于神经网络；一种常用的方法是使用卷积神经网络(CNN)提取全局图像特征向量，并使用长短期记忆网络(LSTM)将相应的问题编码为特征向量，然后将它们进行处理并预测答案；尽管这些方法已经有了比较好的结果，但是当这些答案与图像中的一些细粒度区域相关时，这些模型通常无法给出精确答案。

上述不足可简化为两点：

①现有关注模型的关注点都集中在视觉上，而没有在问题上

②利用注意力机制时，关注区域不精确，尤其对一些细粒度区域；

③上述不足，造成预测问题的答案不够准确。

所以现有的技术需要一种关注点在问题上，且关注区域精确，预测答案准确的一种基于迭代注意力机制的视觉问答模型。

发明内容

本发明的目的在于提供一种基于迭代注意力机制的视觉问答模型，以解决上述背景技术中所提到的问题。

为实现上述目的，本发明提供如下技术方案：

一种基于迭代注意力机制的视觉问答模型，包括以下步骤：

步骤S1：构建双重注意力机制；

步骤S2：迭代模型内部结构，即每次图像和问题的融合方法；

步骤S3：答案预测。

作为本发明进一步的方案：所述步骤S1包括：

首先，利用VggNet提取图像特征，考虑到后边用到迭代模型，令其为Q_l，利用Bi-LSTM对问题编码令其为V_l,创建两个注意力图，Q_l和V_l的计算公式如下：

以上A_Ql和B_Vl的每一行包含单个注意图；