[发明专利]图像检索方法、装置及存储介质

权利要求书

1.一种图像检索方法，其特征在于，所述方法包括：

接收查询文本；

将所述查询文本与图像库中的图像一一对应组成若干文本-图像对，所述图像库包括N张图像，所述N张图像分别与所述查询文本组成N个文本-图像对，将所述N个文本-图像对作为预先训练好的深度学习模型的输入；

通过预先训练的深度学习模型对每对文本-图像对进行匹配运算，得到匹配运算结果；其中，匹配运算包括所述文本的文本语义信息与所述图像的图像特征信息的匹配；

根据所述匹配运算结果确定与所述查询文本相匹配的图像；

所述通过预先训练的深度学习模型对所述文本-图像对进行匹配运算，包括：

对所述文本-图像中的图像提取序列特征，得到图像特征向量序列；

识别查询文本的语义信息，得到查询文本的语义特征向量序列；

对所述图像特征向量序列和所述语义特征向量序列进行特征融合，得到融合后的特征向量序列；

根据融合后的特征向量，输出概率分布及对应的标签序列，所述概率分布用于指示文本语义信息与图像特征信息匹配的概率。

2.根据权利要求1所述的方法，其特征在于，所述深度学习模型的网络结构包括：由CNN网络构造的图像特征提取层，RNN网络构造的语义特征提取层，concat函数构造的特征融合层，softmax函数构造的匹配运算层和Loss层；

所述图像特征提取层的输出和语义特征提取层的输出作为特征融合层的输入，所述特征融合层的输出作为匹配运算层的输入，所述匹配运算层的输出作为Loss层的输入。

3.根据权利要求2所述的方法，其特征在于，所述深度学习模型的训练过程，包括：

获取训练数据集，所述训练数据集包括若干个文本-图像对样本；每个文本-图像对样本均包括文本数据、图像数据和标签；所述标签用于指示所述文本数据的文本语义信息是否与所述图像数据的图像特征信息匹配；

将文本-图像对样本对应的所述文本数据输入RNN网络，将文本-图像对样本对应的图像数据输入所述CNN网络，得到预测结果；

基于第一损失函数确定所述预测结果和对应的标签之间的第一差异；

基于所述第一差异对所述深度学习模型的参数进行迭代训练，直到所述第一差异达到预设差异范围或者迭代次数达到预设次数时停止，完成深度学习模型的训练。

4.根据权利要求3所述的方法，其特征在于，所述将文本-图像对样本对应的所述文本数据输入RNN网络，将文本-图像对样本对应的图像数据输入所述CNN网络，得到训练结果之前，还包括CNN网络预训练的步骤：

将训练数据集中的图像数据输入CNN网络，得到预测的图像特征向量；

基于第二损失函数确定所述预测的图像特征向量和真实的图像特征向量之间的第二差异；

基于所述第二差异对CNN网络特征提取网络的模型参数进行迭代训练，直至所述第一差异达到第一差异范围或迭代次数达到第一预设次数时停止，完成CNN网络预训练。

5.根据权利要求1所述的方法，其特征在于，所述根据所述匹配运算结果确定与所述查询文本相匹配的图像，包括：

将概率分布指示概率最大值、且标签用于指示文本的文本语义信息与图像的图像特征信息匹配的图像，确定为与所述查询文本相匹配的图像。