[发明专利]图像检索方法和装置

权利要求书

1.一种图像检索方法，其特征在于，包括：

将待检索图像输入预先训练的编码器网络，得到待检索图像的特征图特征；

将待检索图像的特征图特征输入预先训练、并且包含隐含节点的解码器网络，得到待检索图像的描述文本；其中，在任一时间步，所述解码器网络依据上一时间步输出的隐状态向量和由所述特征图特征转换而成的第一向量获得所述特征图特征的每一像素在所述任一时间步的空间注意力权重，依据上一时间步输出的隐状态向量获得所述特征图特征的每一通道在所述任一时间步的通道注意力权重，基于所述空间注意力权重和所述通道注意力权重生成第二向量输入所述隐含节点，得到所述任一时间步的描述词，多个时间步的描述词形成待检索图像的描述文本；

获取待检索图像的描述文本的特征向量；其中，所述特征向量用于通过与查询文本的特征向量进行比对以实现图像检索。

2.根据权利要求1所述的方法，其特征在于，第一向量是由所述特征图特征经线性变换而得到；以及，所述依据上一时间步输出的隐状态向量和由所述特征图特征转换而成的第一向量获得所述特征图特征的每一像素在所述任一时间步的空间注意力权重，包括：

获取所述隐状态向量线性变换结果与第一向量线性变换结果之和，将该和送入预设的第一激活函数进行运算并对运算结果线性变换，将该线性变换的结果送入预设的归一化函数，得到所述空间注意力权重。

3.根据权利要求2所述的方法，其特征在于，所述依据上一时间步输出的隐状态向量获得所述特征图特征的每一通道在所述任一时间步的通道注意力权重，包括：

将所述隐状态向量经线性变换之后送入预设的第二激活函数，得到所述通道注意力权重。

4.根据权利要求3所述的方法，其特征在于，所述基于所述空间注意力权重和所述通道注意力权重生成第二向量，包括：

将所述空间注意力权重赋予所述特征图特征的各像素，得到具有所述空间注意力权重信息的第一特征图；

将所述第一特征图经线性变换之后与所述通道注意力权重点乘，得到具有所述空间注意力权重信息和所述通道注意力权重信息的第二特征图；

将第二特征图与上一时间步输出的描述词的特征向量拼接，得到第二向量。

5.根据权利要求2所述的方法，其特征在于，所述得到所述任一时间步的描述词，包括：

将第二向量输入所述隐含节点，得到所述任一时间步的隐状态向量；

将该隐状态向量线性变换之后送入所述归一化函数，得到预设的词典中每一词的概率值，将最大概率值对应的词确定为所述任一时间步的描述词。

6.根据权利要求4所述的方法，其特征在于，所述获取待检索图像的描述文本的特征向量，包括：将所述描述文本中各描述词的特征向量组合为特征矩阵，将该特征矩阵线性变换，得到预设维度的、所述描述文本的特征向量；

所述查询文本的特征向量通过以下步骤得到：将查询文本中各词的特征向量组合为特征矩阵，将该特征矩阵输入预先训练的编码网络进行计算，并依次经过第二激活函数和线性变换，得到所述预设维度的、所述查询文本的特征向量；

待检索图像的描述文本的特征向量与查询文本的特征向量通过以下步骤进行比对以实现图像检索：计算查询文本的特征向量与每一待检索图像描述文本的特征向量之间的内积，将最大内积对应的待检索图像确定为查询文本对应的图像检索结果。

7.根据权利要求6所述的方法，其特征在于，所述编码器网络为卷积神经网络CNN，所述解码器网络和所述编码网络为长短期记忆网络LSTM；

所述解码器网络的隐状态向量初始数据为由所述特征图特征线性变换而成的第三向量；

第一激活函数为ReLU函数，第二激活函数为Sigmoid函数，所述归一化函数为Softmax函数。