[发明专利]一种基于密集协注意力模块的VQA方法

说明书

本发明提出了一种基于密集协注意力模块的VQA方法，从图像中提取出的特征V和问题中提取出的特征Q，送入多个密集协注意力机制模块中，第一个模块输出由问题引导提取出来的图像特征V₁和由图像引导提取出来的问题特征Q₁，之后按照同样的方式通过多个密集协注意力模块操作，由两种融合了对方特性的特征进行问题词的回答。本发明使图像与问题这两种信息处理模式之间进行密集的双向互动，实现的更高准确度的视觉问答模型，有助于提高预测答案的准确性。

技术领域

本发明属于机器学习领域，具体涉及一种基于密集协注意力模块的VQA方法，主要应用于视觉问答。

背景技术

Visual Question Answer(VQA)视觉图像的自然语言问答是一个多学科的人工智能研究问题，涉及到计算机视觉、自然语言处理和知识表示(KR)等领域，目前已经成为人工智能领域的热门方向。一般来说，VQA系统需要将图片和问题作为输入，结合这两部分信息，产生一条人类语言作为输出。针对一张特定的图片，如果想要机器以自然语言处理(NLP)来回答关于该图片的某一个特定问题，我们需要让机器对图片的内容、问题的含义和意图以及相关的常识有一定的理解。就其本性而言，这是一个多学科研究问题。相较于简单的文本问答，VQA的主要区别在于，搜索和推理部分必须在图像的内容上执行。因此，为了回答在某处是否有人类这样的问题，这个系统必须能够探测到物体。如果想要回答是否下雨这样的问题，系统就需要对一个场景进行分类。解决VQA问题的关键在于如何从图片和问题中提取有用的特征，并将二者进行有效地融合。对于问题特征的提取一般都利用RNN对其进行编码，而对于图片特征会采用预训练好的Resnet对图像块进行编码。

目前对于VQA问题的研究路线分为两个主要部分，一是更好的attention机制，二是改进的特征融合方式。一般而言，这两部分分属于模型独立模块，而本次提出的基于密集协注意力模块的VQA网络对这两个模块进行有机的结合与改进。在给定图像和问题的表示形式，首先为每个问题单词生成图像区域上的注意图，并为每个图像区域生成问题单词上的注意图。

发明内容

发明目的：本发明的目的在于提出一种基于密集协注意力模块的VQA方法，通过基于密集协注意力模块对图像与问题进行有机融合，实现更高准确度的视觉问答模型。

发明内容：本发明本发明的目的在于提出一种基于密集协注意力模块的VQA方法，所述方法为从图像中提取出的特征V和问题中提取出的特征Q，送入多个密集协注意力机制模块中，第一个模块输出由问题引导提取出来的图像特征V₁和由图像引导提取出来的问题特征Q₁，之后按照同样的方式通过多个密集协注意力模块操作，由两种融合了对方特性的特征进行问题词的回答，具体包括以下步骤：

(1)向VQA系统中输入图像与问题文本；

(2)使用双向LSTM对问题和图像进行编码；

(3)利用四个卷积层提取图像区域的视觉特征，利用问题引导的注意力对这些层进行融合，获得四个d×T的矩阵；

(4)通过softmax函数归一化获得四个注意力权重α₁，α₂，α₃，α₄，加权计算四个矩阵，获得图像表示d×T矩阵V＝[v₁，…，v_T]，它将图像第t个区域的特征存储在大小为d的第t个列向量中；

(5)将问题表示V与图像表示Q作为输入送入密集注意力层，Q_l与V_l表示(l+1)-st层的输入；

(6)给N个问题单词加上K个状态辅助信息以及T个图像区域信息，结合两个可学习的参数矩阵和在行方向上扩大矩阵Q_l与V_l获得矩阵与