[发明专利]一种大规模图片多尺度语义检索方法

说明书

一种大规模图片语义检索方法，使用无监督的深度学习模型来训练网络获取图片的特征向量，并综合考虑图片的文本描述之间的语义关系来实现大规模的图片的检索；对于图片的特征向量的处理，采用一个4‑6层判别网络4‑6层生成网络组成的生成式对抗网络，用来提取图片的特征；对于图片的文本的处理，采用词向量的分布式表示方法得到图片向量，利用单词嵌套来描述图片的语义信息；采用聚类方法来对检索的图片进行聚类，通过聚类来向用户只展示某类商品中的一个，减少用户的查找商品的时间；然后通过训练好的词向量得到图片文本描述向量；将文本向量和图片的向量连接在一起作为图片的特征表示；之后通过k‑means++对图片进行聚类。

技术领域

本发明是一种大规模图片语义检索技术，特别是大规模的电商图片的多尺度语义检索方法。

背景技术

现有的图片的检索技术主要分为基于文本的图片检索技术和基于内容的图片检索技术。基于文本的检索的技术利用文本描述的方式描述图片的特征。基于内容的图片检索技术是通过图片的颜色、纹理、布局等进行分析和检索。基于文本的检索通过图片的作者、年代、流派、尺寸来描述图片，此种方式不能体现出图片之间语义之间的相似。基于内容的图片检索技术需要手工提取图片的特征，需要加入人力和物力的投入。在近些年来，深度学习在计算机视觉领域已经取得了较大的成功，利用深度学习实现图像的检索将是一个很好的方法。

如CN106777177A公开的检索方法，接收客户端发送的检索请求，其中，所述检索请求包括目标图片；对所述目标图片进行解析，提取文本信息和图像特征；将所述文本信息与预置图片集合中的每一张预置图片的文本信息进行匹配，确定第一相似度，并且，响应于所述第一相似度大于预设的第一阈值，将所述图像特征与该预置图片的图像特征进行匹配，基于匹配结果，确定是否将该预置图片确定为相同图片；获取相同图片的关联信息，将相同图片和所述关联信息作为检索结果发送至所述客户端，以使所述客户端显示所述检索结果。

CN105760390A图片检索系统，运行于电子设备中，包括图片获取模块，用于获取一张待识别的图片；图片处理模块，用于对上述待识别的图片进行预处理；特征提取模块，用于提取该待识别图片的图像特征；及检索模块，用于根据所获取的图像特征，从预设的云存储器中检索与所述待识别图片相匹配的图片。

发明内容

为了克服现有的方法语义表示不完整以及需要大量的人力、物力的投入的缺点。本发明目的是，提出了一种大规模图片语义检索技术，从多个尺度来考虑图片之间的关系，通过使用无监督的深度学习模型来训练网络获取图片的特征向量，并综合考虑图片的文本描述之间的语义关系来实现大规模的图片的检索。既无需对图片进行标注，减少了人力，同时综合考虑了图片的语义之间的关系。本发明的方法融合了基于文本的图片检索技术和基于内容的图片的检索技术的优点。

本发明解决大规模图片检索问题所使用的技术方案为：一种大规模图片语义检索方法，使用无监督的深度学习模型来训练网络获取图片的特征向量，并综合考虑图片的文本描述之间的语义关系来实现大规模的图片的检索；

对于图片的特征向量的处理，采用一个4-6层判别网络4-6层生成网络组成的生成式对抗网络，用来提取图片的特征；可以参考图3，5层判别网络5层生成网络组成的生成式对抗网络；

对于图片的文本的处理，采用词向量的分布式表示方法得到图片向量，利用单词嵌套来描述图片的语义信息；在实施例中可以参考图7；

采用聚类方法来对检索的图片进行聚类，通过聚类来向用户只展示某类商品中的一个，在实施例中可以参考图4，减少用户的查找商品的时间；使用聚类方法为k-means++方法；

在得到图片向量之后，通过计算与所要查找的图片计算相似性，找出相似性大于0.5的图片作为候选；