[发明专利]一种基于同等注意力图网络的视觉问答方法

权利要求书

1.一种基于同等注意力图网络的视觉问答方法，其特征在于，包括以下步骤：

步骤1，对输入的图像I进行预处理，将图像I送入特征提取网络，得到由K个置信度最高的区域的特征组成的区域目标特征；

步骤2，为了得到输入特征表示，利用步骤1得到的区域目标特征将图像I转换成图表示G，G包括目标对象代表的节点和对象间的关系对应的关系边，并对输入的问题文本Q进行词嵌入处理和编码，得到问题特征q；

步骤3，对步骤2得到的图表示G应用同等注意力机制，获得新的节点特征和关系边特征；

步骤4，将步骤3得到的新节点特征与关系边特征进行融合操作，获得代表整个图的图特征，并再次应用注意力机制，更新图特征为新图特征；

步骤5，将步骤4得到的新图特征与步骤2中得到的问题特征q送入分类器联合推断出答案。

2.根据权利要求1所述的一种基于同等注意力图网络的视觉问答方法，其特征在于：所述步骤1中使用的特征提取网络为Faster R-CNN网络，K的值为36，每个区域目标特征都由一个2048维的向量表示。

3.根据权利要求1所述的一种基于同等注意力图网络的视觉问答方法，其特征在于：所述步骤2中问题文本Q的词嵌入由预训练的GloVe向量初始化，并使用双向GRU进行编码。

4.根据权利要求1所述的一种基于同等注意力图网络的视觉问答方法，其特征在于：所述步骤3中同等注意力机制是根据输入的问题特征q分别对图中的节点特征及关系边特征计算注意力权重，赋予关系边与目标节点同等的重要性，找到与问题最相关的目标对象与关系信息。

5.根据权利要求1所述的一种基于同等注意力图网络的视觉问答方法，其特征在于：所述步骤4中新节点特征与关系边特征进行的融合操作通过整合新节点特征与其关联的上下文信息来实现。

6.根据权利要求1所述的一种基于同等注意力图网络的视觉问答方法，其特征在于：所述步骤5中答案从分类器给出的概率最高的候选答案标签中选出。