[发明专利]基于注意力机制和哈希的图像检索方法、装置及存储介质

说明书

本发明公开了一种基于注意力机制和哈希的图像检索方法、装置及存储介质，其中方法包括：针对原始数据集中每一张图像，基于预先训练好的基于注意力机制的哈希特征提取模型得到每一张图像的离散哈希编码，进而建立图像特征库；基于预先训练好的基于注意力机制的哈希特征提取模型得到待检测图像的离散哈希编码；在图像特征库中查询与待检测图像的离散哈希编码汉明距离最近的数据，该数据对应的图像即为检索结果。基于注意力机制的哈希特征提取模型充分发挥了深度卷积神经网络提取图像抽象语义特征的能力；通过嵌入注意力模块使得网络能够专注于图像中能尽可能表达整张图像语义信息的视觉内容，提高哈希编码的表达效果，使图像检索更加精确、快速。

技术领域

本发明涉及图像检索技术领域，尤其涉及一种基于注意力机制和哈希的图像检索方法、装置及存储介质。

背景技术

随着互联网、云计算、物联网、社交媒体及数字设备的应用发展，图像、音频和视频等多媒体数据在以前所未有的速度增长。作为人类感知世界的视觉基础，图像数据能够帮助人们理解信息、表达信息以及传递信息，如何从海量的图像数据中准确快速地检索到与用户查询相关的图像是多媒体检索领域研究者极其关注的问题。由于在解决维度灾难、搜索效率和存储开销等问题上的优势，哈希方法在大规模多媒体数据近似近邻查询中被广泛运用。

近年来，哈希方法经过国内外学者的广泛关注与研究，已充分发展并演化成了一个体系。通常，哈希方法可以大致分为两类：与数据无关的哈希方法和与数据有关的哈希方法。在数据不相关方法中，哈希函数通常独立于训练数据随机产生，并没有利用到数据本身的信息。经典的与数据无关的哈希方法是局部敏感散列(LSH)和其拓展方法。而数据相关的哈希方法企图从训练数据中学习到特定于数据的哈希函数，进而生成紧致高效的哈希码，所以其也被称为哈希学习方法。相对于数据不相关方法来说，哈希学习方法可以使用比较少的二进制编码维度实现很好的效果，从而可以避免维度灾难。根据哈希学习过程中是否融合训练样本的标签信息，哈希学习分为无监督、半监督及监督哈希学习，许多代表性的研究表明监督哈希一般会比无监督和半监督哈希方法获得更高的检索精度。

在哈希学习方法中，原始图像首先被转换成矢量特征表示，然后进行哈希投影和量化编码得到最终的哈希码。因而生成的哈希码的质量在很大程度上依赖于输入的特征向量的质量。相对于传统的图像特征提取方法，深度学习自动提取的特征更有效，质量更佳。但是，图像中也许会含有一些与语义表达无关的视觉信息，这些视觉信息一定程度地干扰了图像的嵌入学习，这对于本来表达能力就有限的哈希码来说更是限制了其在检索时的精确度。另一方面，由于深度哈希算法训练优化过程中不能直接学习离散的哈希编码，而是将二值哈希编码松弛化为连续的哈希编码，然后在网络训练优化结束后，再对连续的哈希编码进行量化处理，得到最终的二值哈希编码，但这样会存在量化误差，直接导致最终得到的哈希编码质量不佳，此外，哈希学习方法中神经网络的损失函数的选择对最终的哈希编码的质量也有一定的影响。

综上，虽然现有的基于深度学习的哈希检索方法都显著地提升了图像检索的性能，但是这些方法仍然存在一定的不足，并且基于深度学习的方法需要大量的标签数据训练才能达到很好的检索性能和泛化能力，如何在有限的训练数据集上获得好的检索性能也是研究者们关注的重点。

发明内容

本发明提供了一种基于注意力机制和哈希的图像检索方法、装置及存储介质，以解决现有技术中由于图像中会含有一些与语义表达无关的视觉信息，一定程度地干扰了图像的嵌入学习，对于表达能力有限的哈希码来说更是限制了其在检索时的精确度的问题。

第一方面，提供了一种基于注意力机制和哈希的图像检索方法，包括：

针对原始数据集中每一张图像，基于预先训练好的基于注意力机制的哈希特征提取模型得到每一张图像的离散哈希编码，进而建立与该原始数据集对应的图像特征库；

基于预先训练好的基于注意力机制的哈希特征提取模型得到待检测图像的离散哈希编码；