[发明专利]一种基于注意力决策的图像视觉问答模型、方法和系统

摘要

本发明公开了一种基于注意力决策的图像视觉问答模型、方法和系统，属于开放式图像视觉问答领域。包括：信息融合模块，用于在k＝1时，融合全局图像特征g和问题特征向量q，得到融合特征向量uk；在k＝2,…,K时，融合特征向量uk‑1和图像特征向量得到融合特征向量uk；注意力决策模块，用于接收融合特征向量uk，决策出注意力框Lk，并发送给特征抽取池化模块；特征抽取池化模块，用于接收空间图像特征v和注意力框Lk‑1，得到图像特征向量答案推理模块，用于接收融合特征向量uK，推理出问题答案。本发明利用强化学习，学习特征选择的决策过程，可以自适应的选择与问题相关的视觉特征。可以端到端的训练，让学习到的特征更加具有问题针对性。

主权项

1.一种基于注意力决策的图像视觉问答模型，其特征在于，所述模型包括：视觉信息提取模块，用于提取图像I的全局图像特征g和空间图像特征v，全局图像特征g发送给信息融合模块，空间图像特征v发送给特征抽取池化模块；问题分析模块，用于提取问题Q的问题特征向量q，并发送给信息融合模块；信息融合模块，用于在k＝1时，接收并融合来自视觉信息提取模块的全局图像特征g和来自问题分析模块的问题特征向量q，得到融合特征向量u_k；或者，在k＝2，…，K时，接收并融合特征向量u_k‑1和来自特征抽取池化模块的图像特征向量得到融合特征向量u_k；在k＝1…，K‑1时，融合特征向量u_k发送给注意力决策模块，在k＝K时，融合特征向量u_k发送给答案推理模块，其中，k表示融合次数，K表示融合总次数；注意力决策模块，用于接收来自信息融合模块的融合特征向量u_k，决策出注意力框L_k，并发送给特征抽取池化模块；特征抽取池化模块，用于接收来自视觉信息提取模块的空间图像特征v和来自注意力决策模块的注意力框L_k，得到图像特征向量答案推理模块，用于接收来自信息融合模块的融合特征向量u_K，推理出问题Q的答案。