[发明专利]一种基于注意力机制和门控机制的图文检索方法和系统

权利要求书

1.一种基于注意力机制和门控机制的图文检索方法，其特征在于，包括：

S1.构建跨模态检索模型；所述跨模态检索模型包括：图像视觉特征提取模块、文本语义特征提取模块、注意力模块和门控机制模块；

图像视觉特征提取模块，用于获取遥感图像的区域特征；文本语义特征提取模块，用于获取文本所包含单词的特征；图像区域特征和文本单词特征构成不同模态的高层语义特征；

注意力模块，用于将不同模态数据的高层语义特征映射到同一个公共潜在空间中，并通过注意力机制对图像区域特征或文本单词特征分配不同的注意力分数，以注意力分数作为加权系数，将对应特征进行加权平均得到新的全局特征；

门控机制模块，用于构造一个基于门控机制的函数组，将新的全局特征作为监督信息，对另一模态的特征进行更新和优化，加强两种不同模态特征之间的语义对齐关系；对另一模态的特征进行更新和优化的函数组包括一个更新门g_i和一个新记忆单元c_i，由以下公式确定：

g_i＝sigmoid[l_i(W₁,b₁)]

c_i＝sigmoid[l_i(W₂,b₂)]

l_i(W₁,b₁)表示权重为W₁，偏置为b₁的线性拼接，l_i(W₂,b₂)表示权重为W₂，偏置为b₂的线性拼接，W₁,b₁,W₂,b₂是待学习的超参数；

对图像区域特征进行更新和优化时，拼接对象是图像区域特征和文本单词特征对应的新的全局特征；对文本单词特征进行更新和优化时，拼接对象是文本单词特征和图像区域特征对应的新的全局特征；

S2.以图像库和对应的语料库作为训练集，训练所述跨模态检索模型；

S3.将待检索的图片或文本输入至训练好的跨模态检索模型中，得到对应的检索结果。

2.根据权利要求1所述的一种基于注意力机制和门控机制的图文检索方法，其特征在于，利用AlexNet网络、LeNet网络、GoogLeNet网络、VGG网络、Inception网络、ResNet网络中的任意一种获取遥感图像的区域特征。

3.根据权利要求2所述的一种基于注意力机制和门控机制的图文检索方法，其特征在于，利用Inception V3网络获取遥感图像的区域特征。

4.根据权利要求1所述的一种基于注意力机制和门控机制的图文检索方法，其特征在于，利用LSTM网络或GRU网络中的任意一种获取文本所包含单词的特征。

5.根据权利要求4所述的一种基于注意力机制和门控机制的图文检索方法，其特征在于，利用双向GRU网络获取文本所包含单词的特征。

6.根据权利要求1-5任一项所述的一种基于注意力机制和门控机制的图文检索方法，其特征在于，所述通过注意力机制对图像区域特征或文本单词特征分配不同的注意力分数，具体为，

将图像中的所有区域与文本中的所有单词分别组成区域-单词对，用余弦相似度函数计算其相似度矩阵：

其中f_i表示第i个图像区域特征，t_j表示第j个文本单词特征；

对相似度矩阵进行归一化，得到注意力分数。