[发明专利]图像检索方法和装置

说明书

本发明公开了一种图像检索方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：将待检索图像输入预先训练的编码器网络，得到待检索图像的特征图特征；将待检索图像的特征图特征输入预先训练、并且包含隐含节点的解码器网络，得到待检索图像的描述文本；获取待检索图像的描述文本的特征向量；其中，所述特征向量用于通过与查询文本的特征向量进行比对以实现图像检索。该实施方式能够实现待检索图像语义特征的准确提取以及快速的图像检索。

技术领域

本发明涉及计算机技术领域，尤其涉及一种图像检索方法和装置。

背景技术

随着监控设备以及移动智能终端的普及，产生的照片和视频越来越多，基于图像和文本的跨模态检索(一般为输入文本来检索图像)越来越重要。

目前，一般采用两种方法执行以上跨模态检索：其一为二值表示学习(binaryrepresentation learning)，该方法将提取到的图像特征和文本特征映射到汉明二值空间进行学习；其二为实值表示学习(real-valued representation learning)，该方法直接对图像特征和文本特征进行学习。这两种方法训练难度高，很难扩大到大数据集上；算法复杂，无法保证检索时效性。

发明内容

有鉴于此，本发明实施例提供一种图像检索方法和装置，能够实现待检索图像语义特征的准确提取以及快速的图像检索。

为实现上述目的，根据本发明的一个方面，提供了一种图像检索方法。

本发明实施例的图像检索方法包括：将待检索图像输入预先训练的编码器网络，得到待检索图像的特征图特征；将待检索图像的特征图特征输入预先训练、并且包含隐含节点的解码器网络，得到待检索图像的描述文本；其中，在任一时间步，所述解码器网络依据上一时间步输出的隐状态向量和由所述特征图特征转换而成的第一向量获得所述特征图特征的每一像素在所述任一时间步的空间注意力权重，依据上一时间步输出的隐状态向量获得所述特征图特征的每一通道在所述任一时间步的通道注意力权重，基于所述空间注意力权重和所述通道注意力权重生成第二向量输入所述隐含节点，得到所述任一时间步的描述词，多个时间步的描述词形成待检索图像的描述文本；获取待检索图像的描述文本的特征向量；其中，所述特征向量用于通过与查询文本的特征向量进行比对以实现图像检索。

可选地，第一向量是由所述特征图特征经线性变换而得到；以及，所述依据上一时间步输出的隐状态向量和由所述特征图特征转换而成的第一向量获得所述特征图特征的每一像素在所述任一时间步的空间注意力权重，包括：获取所述隐状态向量线性变换结果与第一向量线性变换结果之和，将该和送入预设的第一激活函数进行运算并对运算结果线性变换，将该线性变换的结果送入预设的归一化函数，得到所述空间注意力权重。

可选地，所述依据上一时间步输出的隐状态向量获得所述特征图特征的每一通道在所述任一时间步的通道注意力权重，包括：将所述隐状态向量经线性变换之后送入预设的第二激活函数，得到所述通道注意力权重。

可选地，所述基于所述空间注意力权重和所述通道注意力权重生成第二向量，包括：将所述空间注意力权重赋予所述特征图特征的各像素，得到具有所述空间注意力权重信息的第一特征图；将所述第一特征图经线性变换之后与所述通道注意力权重点乘，得到具有所述空间注意力权重信息和所述通道注意力权重信息的第二特征图；将第二特征图与上一时间步输出的描述词的特征向量拼接，得到第二向量。

可选地，所述得到所述任一时间步的描述词，包括：将第二向量输入所述隐含节点，得到所述任一时间步的隐状态向量；将该隐状态向量线性变换之后送入所述归一化函数，得到预设的词典中每一词的概率值，将最大概率值对应的词确定为所述任一时间步的描述词。