[发明专利]一种基于迭代注意力机制的视觉问答模型

权利要求书

1.一种基于迭代注意力机制的视觉问答模型，其特征在于：包括以下步骤：

步骤S1：构建双重注意力机制；

步骤S2：迭代模型内部结构，即每次图像和问题的融合方法；

步骤S3：答案预测。

2.根据权利要求1所述的一种基于迭代注意力机制的视觉问答模型，其特征在于：所述步骤S1包括：

首先，利用VggNet提取图像特征，考虑到后边用到迭代模型，令其为Q_l，利用Bi-LSTM对问题编码令其为V_l,创建两个注意力图，Q_l和V_l的计算公式如下：

以上A_Ql和B_Vl的每一行包含单个注意图；

将维特征向量和投影到多个低维空间；令低维空间数量为d_h(≡d/h)为特征向量维度；用和表示线性投影；第i个空间的投影特征矩阵为：

用softmax函数通过按列和按行归一化，在每个矩阵创建注意力图，公式如下；

本发明使用乘法(或点积)注意力时，如下所述，多个特征的平均融合相当于求注意力图的平均值，公式如下：

本发明使用乘积注意力来获取问题和图像的特征表示和公式如下：

以上与V_l的大小相同即d×T，与Q_l的大小相同即d×N。

3.根据权利要求1所述的一种基于迭代注意力机制的视觉问答模型，其特征在于：所述步骤S2包括：

在计算特征表示和之后，在矩阵的第n列存储与第n个问题单词相关的整个图像的表示，即第n个单词的注意力特征向量；接着，通过级联将第n列向量与第n个问题单词向量融合，形成二维向量

将连接后的向量通过单层网络投射会d维度空间，再通过ReLU激活函数和残差连接；公式如下：

其中和是学习权重和偏置项；当n(n＝1,…,N)个单词都参与运算后得出

类似的，将第t个图像区域的表示v_lt与以第t个图像区域相关的整个疑问词的表示串联起来，投影到d维空间，公式如下：

其中，和是学习权重和偏置项；当t(t＝1,…,T)个区域都参与运算后得出

4.根据权利要求1所述的一种基于迭代注意力机制的视觉问答模型，其特征在于：所述步骤S3包括：

本发明用迭代模型的最后一次输出Q_L和V_L来预测答案分布；由于它们包含了N个问题词和T个图像区域的表示，本发明首先对它们进行自注意力机制，以获得整个问题和图像的聚合表示；针对Q_L的操作如下：

计算“分数”，s_qL1,…,s_qLN分别是q_L1,…,q_LN的分数，通过在隐藏层中应用具有双层MLP来实现；

用softmax进行归一化，得出权重

使用公式计算聚合表示；

使用相同的方法得到V_L的权重矩阵和聚合表示

用MLP计算预定义答案的分数，这是最近研究中广泛使用的方法，公式如下：