[发明专利]基于三元组深度网络的跨模态哈希检索方法

摘要

本发明提出了一种基于三元组深度网络的跨模态哈希检索方法，用于解决现有跨模态哈希检索方法中存在的检索精率低的技术问题。实现步骤为：对数据进行预处理，将数据分成训练数据和查询数据；获取图像训练数据和文本训练数据的哈希码；采用三元组监督信息建立目标损失函数；对目标损失函数进行顺序迭代优化；计算图像查询数据和文本查询数据的哈希码；获取查询数据的检索结果。本发明提供的方案采用三元组信息构建目标损失函数，增加语义信息，同时加入模态内的损失函数，增加方法的判别性，能够有效地提高跨模态检索的精度。本发明可用于物联网信息检索、电子商务以及移动设备等的图片与文本互搜索服务。

主权项

1.一种基于三元组深度网络的跨模态哈希检索方法，其特征在于，包括如下步骤：

(1)对数据进行预处理：

确定两种模态的数据：图像数据和文本数据，提取文本数据的Bag‑of‑words特征，保留图像数据的原始像素特征，并将图像数据分成图像训练数据和图像查询数据，将文本数据分成文本训练数据和文本查询数据；

(2)获取图像训练数据和文本训练数据的哈希码：

将文本训练数据的Bag‑of‑words特征输入文本深度网络，得到文本训练数据哈希码，同时将图像训练数据的原始像素特征输入图像深度网络，得到图像训练数据哈希码；

(3)采用三元组监督信息建立目标损失函数J：

(3a)随机选择部分图像训练数据哈希码作为三元组监督信息中锚点数据哈希码，并将与三元组监督信息中锚点数据哈希码相似的文本训练数据哈希码作为正例数据哈希码，不相似的文本训练数据哈希码作为负例数据哈希码，采用锚点数据哈希码与正例数据哈希码和负例数据哈希码，分别计算锚点数据和正例数据之间的汉明距离和锚点数据和负例数据之间的汉明距离并利用和建立图像文本模态间的三元组损失函数J₁；

(3b)随机选择部分文本训练数据哈希码作为三元组监督信息中锚点数据哈希码，并将与三元组监督信息中锚点数据哈希码相似的图像训练数据哈希码作为正例数据哈希码，不相似的图像训练数据哈希码作为负例数据哈希码，采用锚点数据哈希码与正例数据哈希码和负例数据哈希码，分别计算锚点数据和正例数据之间的汉明距离和锚点数据和负例数据之间的汉明距离并利用和建立文本图像模态间的三元组损失函数J₂；

(3c)将图像文本模态间的三元组损失函数J₁与文本图像模态间的三元组损失函数J₂相加，得到模态间的三元组损失函数J_inter；

(3d)随机选择部分图像训练数据哈希码作为三元组监督信息中锚点数据哈希码，并将与三元组监督信息中锚点数据哈希码相似的图像训练数据哈希码作为正例数据哈希码，不相似的图像训练数据哈希码作为负例数据哈希码，采用锚点数据哈希码与正例数据哈希码和负例数据哈希码，分别计算锚点数据和正例数据之间的汉明距离和锚点数据和负例数据之间的汉明距离并利用和建立图像模态内的三元组损失函数J₃；

(3f)随机选择部分文本训练数据哈希码作为三元组监督信息中锚点数据哈希码，并将与三元组监督信息中锚点数据哈希码相似的文本训练数据哈希码作为正例数据哈希码，不相似的文本训练数据哈希码作为负例数据哈希码，采用锚点数据哈希码与正例数据哈希码和负例数据哈希码，分别计算锚点数据和正例数据之间的汉明距离和锚点数据和负例数据之间的汉明距离并利用和建立文本模态内的三元组损失函数J₄；

(3g)将图像模态内的三元组损失函数J₃与文本模态内的三元组损失函数J₄相加，得到模态内的三元组损失函数J_intr