[发明专利]一种基于多层特征表示的实例级图像搜索方法

说明书

本发明涉及计算机视觉技术领域，尤其涉及一种基于多层特征表示的实例级图像搜索方法。本发明提出了一个通过深度卷积神经网络模型学习图像不同层次的特征表示，进行实例级的图像搜索的方法，使之能有效的找到相同物品的不同图像；本发明在传统网络模型基础上引入了一种编码学习过程，通过对来自于多个卷积层的特征进行自动编码，使得提取的特征更具有鲁棒性，降低背景和噪声数据对特征的影响，同时兼具局部信息和类别信息；本发明还提出了一种基于多任务的损失函数，并通过优化该函数，使学习到的特征拥有很好的泛化性能，也使学习到的特征很好的用于区分类间图像以及类内不同事物的图像。

技术领域

本发明涉及图像处理技术邻域，尤其涉及一种基于多层特征表示的实例级图像搜索方法。

背景技术

最近十年内，实例级别的图像搜索引起了很大的关注，可以把该问题简单描述为给出一张实物图像，让你从数据集中找到相同实物的不同图像或接近物体的图像。该问题的兴起主要由于网购时消费者的一种需求，消费者希望上传一张物体图像，便能在网站上显示出同种图像的销售信息，如阿里的拍立淘便是基于此需求而开发的，但实际上到目前为止，用户体验效果依然不好，主要由于以下几个原因：

网站上的图像多是含有背景或者水印的图像，干扰因素较大，同时用户上传的图像也是各种姿势，有时上传的图像中物体较小，甚至不在图像的中央，或者大部分被其他事物所覆盖，只显示出一部分，如发圈这类饰品，图像中很可能包含了人的头发等事物，加大了搜索难度。

实例级别的图像搜索注重局部特征，例如图像上的商标等特征，这些是人类判断事物的一个重要标准，但是在类别级图像搜索的时候，提取出来的特征更多的是注重类别特征而非局部特征，这就要求修改算法，使得提取出来的特征中类别特征为主，局部特征为辅，两者兼具。

实例级别的图像搜索，在搜索时最好的结果是同一类的同一件商品的不同图像，其次是同一件商品的不同颜色的图像或者有细微的差别，再其次才是同一类商品的不同图像，因此不仅要对类间图像进行区分，同时也要求对于类内的物品也进行区分。

传统的图像搜索算法采用的大多是手选识别特征的方式，例如SIFT算法，词袋(Bow)算法，局部特征聚合描述符(VLAD)算法，或者Fisher向量(FV)算法和它们的变形。还有一些相关算法用于改进图像搜索的效果，例如利用Root-SIFT提高SIFT算法的判别能力，用PCA，白化，signed square root(SSR)算法提高特征提取的泛化能力。图像搜索的效果被单个特征表示所限制，Multi-VLAD构造的单个图像的多个表示明显取得了更好的效果。

近几年，由于深度神经网络的广泛应用，尤其是卷积神经网络(CNN)的应用，在图像视觉领域的多个任务中都取得了突破性的进展，例如图像分类，目标检测等。通过训练多层卷积神经网络，人发现卷积神经网络对于学习非线性特征具有较好的鲁棒性，它不仅能发现人们可以手动区分的特征，更能够从图像中发现一些不了解的但又非常重要的高层特征，卷积神经网络也已经被人们应用于图像搜索当中，并取得优异的成绩。

常用的分类特征通常是取的深度卷积神经网络的最后一个全相连层的特征，但该层的特征对于实例级别的图像搜索来说过于泛化，以至于缺少判别力，它更多的是拥有类别特征，用于判别物体的不同类别，而对于类内的差别则很难判断出来。最近的一些研究指出，中间层的特征对于类内区别有更好的区分效果，但是选择中间层更像是在局部特征和类别特征中的一种权衡，能表示出两者的部分信息，但都不完全，因此最好的方式还是找到一种方法综合这两者。在本文中，会提出一种新的基于卷积神经网络的特征融合的方法来解决这个问题。

而且在卷积神经网络中包含了一种重要的结构——池化。对于类内信息的区分，背景的影响变得更加的重要，在提取特征的同时，利用不同池化方式对图像的不同影响，即混合池化的方法，以降低背景对图像的影响。