[发明专利]图像检索方法、装置及存储介质

说明书

本申请涉及一种图像检索方法、装置及存储介质，包括：接收查询文本；获取图像库的图像，将所述图像与所述查询文本对应组成若干文本‑图像对，所述文本‑图像对用于输入预先训练好的深度学习模型；通过预先训练好的深度学习模型对所述文本‑图像对进行文本语义信息与图像特征信息的匹配运算；根据匹配运算结果，将匹配的图像作为检索结果输出。本申请可以实现“以文搜图”，即通过输入查询文本，直接获得检索图像，检索速度快、工作效率高。

技术领域

本申请涉及图像检索方法、装置及存储介质，属于图像处理技术领域。

背景技术

图像检索，即给定一张查询图像，输入到检索系统，系统将其与图像库中的数十万或者数百万张图像进行比对，然后返回和查询图像最相像的前五张或者前二十张做为结果返回。该技术被广泛应用到视频监控行业中，通过图像检索，可以协助相关工作人员快速定位和分析待搜索的图像曾经出现的位置及时间点等一些关键信息。

现有的图像检索一般都是在单模态范围内实现的检索，通过输入查询图像，对查询图像提取特征信息，然后去和图像库里面其他图像的特征信息做比对，然后计算相似度。这里的模态指的是一种信息的来源或者形式，例如，人有触觉，听觉，视觉，嗅觉；信息的媒介，有语音、视频、文字等，以上的每一种都可以称为一种模态。单模态检索是指检索时的输入信息和将要输出的检索结果信息的形式相同，例如，用图像去查询图像。

现有的图像检索过程，仅仅使用了图像这种单模态的特征去搜索，即“以图搜图”，这往往要求必须先给定一张查询图像，而一般情况下，相关工作人员只能收集到一些对待搜索图像进行描述的文本信息，难以收集到查询图像，而在只有文本信息的情况下，无法实现图像搜索，影响工作效率。而且，现有的“以图搜图”的图像检索，需要对输入的查询图像，额外提取图像特征信息，对图像库中的其他图像也要提取特征信息，然后再进行特征比对，算法相对复杂，检索时间较长。

发明内容

本申请提供了一种图像检索方法、装置及存储介质，以解决现有技术中“以图搜图”的图像检索方法由于必须给定用于输入检索系统的查询图片，在查询图片难以取得的情况下，图像检索无法继续进行，影响工作效率，以及“以图搜图”的方式需要额外提取查询图片的特征信息，检索速度慢的问题。

为解决上述技术问题，本申请提供如下技术方案：

第一方面，提供了一种图像检索方法，所述图像检索方法包括：

接收查询文本；

将所述查询文本与图像库中的图像一一对应组成若干文本-图像对；

通过预先训练的深度学习模型对每对文本-图像对进行匹配运算，得到匹配运算结果；其中，匹配运算包括所述文本的文本语义信息与所述图像的图像特征信息的匹配；

根据所述匹配运算结果确定与所述查询文本相匹配的图像。

本申请的技术方案通过输入查询文本，将所述查询文本与图像组成的文本-图像对，输入深度学习模型进行匹配运算，得到与查询文本匹配的图像，即为图像检索结果，本申请可以实现“以文搜图”，即：输入查询文本，直接获取图像检索结果，无需提供查询图片，提高了工作效率，节省了检索时间，检索速度快。

进一步地，根据本申请实施例第一方面所述的图像检索方法，所述通过预先训练的深度学习模型对所述文本-图像对进行匹配运算，包括：

对所述文本-图像中的图像提取序列特征，得到图像特征向量序列；

识别查询文本的语义信息，得到查询文本的语义特征向量序列；

对所述图像特征向量序列和所述语义特征向量序列进行特征融合，得到融合后的特征向量序列；

根据融合后的特征向量，输出概率分布及对应的标签序列，所述概率分布用于指示文本语义信息与图像特征信息匹配的概率。