[发明专利]一种基于注意力决策的图像视觉问答模型、方法和系统

说明书

本发明公开了一种基于注意力决策的图像视觉问答模型、方法和系统，属于开放式图像视觉问答领域。包括：信息融合模块，用于在k＝1时，融合全局图像特征g和问题特征向量q，得到融合特征向量u_k；在k＝2,…,K时，融合特征向量u_k‑1和图像特征向量得到融合特征向量u_k；注意力决策模块，用于接收融合特征向量u_k，决策出注意力框L_k，并发送给特征抽取池化模块；特征抽取池化模块，用于接收空间图像特征v和注意力框L_k‑1，得到图像特征向量答案推理模块，用于接收融合特征向量u_K，推理出问题答案。本发明利用强化学习，学习特征选择的决策过程，可以自适应的选择与问题相关的视觉特征。可以端到端的训练，让学习到的特征更加具有问题针对性。

技术领域

本发明属于开放式图像视觉问答领域，更具体地，涉及一种基于注意力决策的图像视觉问答模型、方法和系统。

背景技术

深度学习的发展推动了许多高层次的人工智能任务的研究，例如，视觉问答(Visual question answering，VQA)。图像视觉问答是输入一张视觉图像和一个与图像内容相关的开放式自然语言问题，智能系统通过识别理解图像与问题来自行输出自然语言答案。视觉问答可以进行自动量化评估，可以有效跟踪任务的发展。因为关于图片的问题往往倾向于寻找特定的视觉信息，因此对于许多问题，答案仅仅包含一到三个单词，可以通过正确回答问题的数量评估视觉问答算法。图1给出了大多数基于深度学习的视觉问答模型，它主要包括以下四个模块：(1)视觉信息提取模块：一般使用深度卷积神经网络CNN，代表的模型有AlexNet，VGGNet，GoogLeNet和ResNet等；(2)问题分析模块：一般使用深度循环神经网络RNN、长短期记忆网络、门控循环单元和卷积神经网络；(3)多模态信息融合模块：常用的方法有按位加，按位乘，链接和双线性池化等；(4)答案推理模块：一般使用多层感知机。

视觉问答任务中要根据问题在图像中的相关区域找到对应的答案，因此问题引导的图像注意力机制(Attention mechanism)是解决视觉问答任务的重要方法。注意力机制的主要目标是通过使用局部图像特征，并允许模型对不同区域的特征赋予不同的重要性来解决问题。

现有技术都采用的“软注意力”(soft attention)方法，为图像中的每一个区域分配一个权重。但是图像中有一些区域和问题无关，这些区域的权重应该被设置为零，而“软注意力”方法分配的权重很难收敛到零。因此会引入一些与问题无关的噪声信息，影响最后答案的决策。另一方面，一些方法为了基于对象语义推理答案，会使用预训练的图像目标检测方法检测图像中的对象，并获得这些对象的特征向量。然后使用软注意力机制为每一个对象分配一个注意力权重。但是这种多阶段处理方法不能端到端训练(end to endtrain)，导致对象特征不具有问题针对性。

发明内容

针对现有技术的缺陷，本发明的目的在于解决现有技术与问题无关的视觉特征影响答案推理、学习到的对象特征不具有问题针对性的技术问题。

为实现上述目的，第一方面，本发明实施例提供了一种基于注意力决策的图像视觉问答模型，所述模型包括：

视觉信息提取模块，用于提取图像I的全局图像特征g和空间图像特征v，全局图像特征g发送给信息融合模块，空间图像特征v发送给特征抽取池化模块；

问题分析模块，用于提取问题Q的问题特征向量q，并发送给信息融合模块；