[发明专利]一种基于深度学习的以图搜图方法及装置

说明书

本发明公开了一种基于深度学习的以图搜图方法及装置，主要解决现有技术中存在的以图搜图方法数据不足、搜索算法性能低等问题，导致图像搜索准确率和速率较低，不能满足现代互联网应用需求的问题。该一种基于深度学习的以图搜图方法先基于深度学习ResNET50网络模型，将预处理后的图片库的所有图片和待检索图片加载到ResNET50网络模型中提取特征向量，通过图片库的特征向量建立图片特征索引数据库，然后计算预处理后待检索图片与图片特征索引数据库中所有图片之间的特征向量相似度，最后得出设定数量的高相似度选项返回结果；实现以图搜索相同、相似图片的功能，本发明的方法更加智能，搜索准确率、速度较高。

技术领域

本发明涉及以图搜图技术领域，具体地说，是涉及一种基于深度学习的以图搜图方法及装置。

背景技术

近年来，随着深度学习算法、框架的不断发展，人工智能技术为传统行业、领域存在的难点、痛点提供了新的解决思路和方案；尤其是在计算机视觉领域，通过深度卷积网络的卷积层提取图像特征，在大量训练集的基础上可以有效地获取图片特征信息，而且比传统的算法更高效且智能；然而，在图片搜索领域，由于数据不足、搜索算法性能低等问题，导致图像搜索准确率和速率较低，不能满足现代互联网应用的需求。

现普遍采用的以图搜图的方法为基于感知哈希pHash算法提取图片特征的以图搜图方法，该方法存在的问题有：1.该方法通过DCT变换得到图片低频信息，并进一步提取左上角8*8矩阵构造hash值，虽然图片进行了修改，小于25%的变型能够获得较好的搜索效果，但是搜索较慢；2.该方法没有考虑到图片其他特征的提取如颜色、布局、亮度、边缘、纹理等特征内容，使得图片特征不足以描述该图片，造成搜索准确率不高。

发明内容

本发明的目的在于提供一种基于深度学习的以图搜图方法及装置，以解决现有以图搜图方法数据不足、搜索算法性能低等问题，导致图像搜索准确率和速率较低，不能满足现代互联网应用需求的问题。

为了解决上述问题，本发明提供如下技术方案：

一种基于深度学习的以图搜图方法包括以下步骤：

S1、构建ResNET50网络模型，使用数据集训练该模型；

S2、对图片库的所有图片和待检索图片进行预处理，然后通过步骤S1的模型进行图片特征向量提取；

S3、将步骤S2中图片库的图片特征向量写入索引数据库中构成图片特征索引数据库；

S4、将步骤S2中待检索图片的图片特征向量分别与步骤S3的图片特征索引数据库中所有图片的特征向量计算相似度，得到相似度列表List；

S5、对步骤S4中相似度列表List进行大小排序，选取设定数量的相似度返回结果。

现常采用的基于图像感知哈希pHash的以图搜图方法步骤如下：

第一步，建立图片库和设计图片索引数据库。

第二步，图片特征向量提取；通过感知哈希算法pHash提取图片的hash值作为图片特征。首先对图片进行尺寸变化、灰度化处理等预处理，再离散余弦变换DCT变换得到32*32的DCT系数矩阵，并取矩阵左上角的8*8的矩阵，之后计算该矩阵的均值，再计算图片hash值，即设置0或1的64位的hash值，大于等于DCT均值的设为”1”，小于DCT均值的设为“0”，将这64位组合在一起，就构成了一个64位的整数，这就是这张图片的特征向量。

第三步，图片特征向量入库。计算图片库中的每张图片的图片特征并写入图片索引数据库。

第四步，搜索图片。按照第二步的提取待搜索图片的图片特征，然后计算其图片索引与数据库中所有图片的hash值之间的汉明距离（Hamming Distance），即两个图片hash不同位的个数。如果汉明距离值为0，则表示这两张图片非常相似，如果汉明距离小于5，则表示有些不同，但比较相近，如果汉明距离大于10则表明完全不同的图片。

第五步，返回搜索结果。