[发明专利]一种基于无标注自动特征提取的大规模电商图片检索系统

说明书

技术领域

本发明涉及图像检索领域，具体涉及一种基于内容的图像检索技术，可广泛应用于电商平台、图像信息检索等领域。

背景技术

图像检索按描述图像内容方式的不同可以分为两类，一类是基于文本的图像检索(TBIR,Text Based Image Retrieval)，另一类是基于内容的图像检索(CBIR,Content Based Image Retrieval)。

基于文本的图像检索技术发展自上世纪70年代，这项技术将图像存储在数据库中，利用文本标注的方式对图像中的内容进行描述，从而为每幅图像形成描述这幅图像内容的关键词，比如图像中的物体、场景等。用户检索时通过对关键词的精确匹配或概率匹配，从图像数据库中检索出图像结果。这种基于文本描述的图像检索方式由于易于实现，且在标注时有人工介入，所以其查准率也相对较高。但是这种检索方式的缺点也是非常明显的，由于其需要人工介入对图像数据进行标注，对于大规模图像数据需要耗费大量人力和时间。同时由于检索通过关键字进行，需要通过简短的文字准确描述检索请求，用户有时很难准确描述。再者，人工标注过程不可避免的会受到标注者的认知水平、言语使用以及主观判断等的影响，因此会导致标注数据没有一个统一的标准。

随着图像数据规模的增长，基于文本的图像检索技术问题日益突出。上世纪90年代，基于内容的图像检索技术应运而生。基于内容的图像检索技术是一种综合集成技术，其利用图像处理、机器视觉的方法，对图像进行分析提取特征向量，并存入图像特征库中。当用户输入一张查询图像时，用相同的特征提取方法提取查询图像的特征得到查询向量，然后以某种相似性度量准则计算查询向量与特征库中各个特征的相似性大小，最后按相似性大小进行排序并顺序输出对应的图片。

近些年来，深度学习在图像、影音、自然语言上取得重大突破，尤其是以深度卷积神经网络(Deep Convolution neural Network，DCNN)为代表的深度学习技术在图像处理上取得的突破性进展，越来越多的研究人员将深度学习技术融入到图像检索任务中，取得了不错的效果。其中最常见的是利用深度卷积神经网络作为图像的特征自动提取器，取代之前的SIFT、SURF特征提取方式，通过卷积神经网络更强的特征提取能力，改善图像检索的性能。然而，采用CNN作为图像特征提取引入了另一种问题：CNN网络的训练。图像检索的类别成千上万，随着类别的增多，要求的能够提取的图像特征越精细，训练一个好的CNN特征提取器非常困难，图像检索的难度显著增强。同时，训练一个CNN网络通常是使用监督学习，即输入的训练数据是图像和图像类别的数据对。当网络的结构复杂 (网络深度、宽度很大)时，为了防止过拟合训练模型需要海量的数据，而对于大规模数据进行人工标注将会耗费大量人力物力。

发明内容

针对以上图像检索系统的问题，本发明目的是，提出一种新型的基于内容的图像检索系统及方法，通过无监督学习的方式提取图像的特征并进行相似性检索，可以避免传统方法中需要大量人工标注数据的缺点，大大减少系统成本。

本发明的技术方案是，基于无标注自动特征提取的大规模电商图片检索系统，系统主要包含三个模块：特征提取模块，检索模块、以及图像数据库。

特征提取模块：特征提取模块包含两个部分，图像预处理和特征提取。由于输入的图像受到图像格式和图像像素大小的影响，可能与特征提取器的要求输入不同，因此需要有相应的图像预处理操作。在本系统中图像预处理部分主要是对原始图像进行缩放和裁剪到相同的图像大小；对于单通道的灰度图将其转化为三通道的RGB三色图；并将0～255RGB值归一化到-0.5～+0.5区间。特征提取部分为基于深度神经网络的特征提取方式，提出使用一种无监督的深度模型作为图片的特征提取器。深度模型由两个深度神经网络组成，采样网络从随机噪声中采样生成与真实图片类似的伪造图片；判别网络接受真实图像数据和伪造数据作为输入并判别输入数据真伪。采样网络负责使用对抗训练交替优化两个网络，最后使用判别网络中的卷积层输出作为图像特征；