[发明专利]一种中心排序损失及弱监督物体定位的细粒度检索方法

说明书

一种中心排序损失及弱监督物体定位的细粒度检索方法，涉及中心排序损失和弱监督物体定位的融合。给定标好的细粒度图像‑标签对集合，将图像‑标签对集合划分为训练照片样本集、训练画像样本集和测试照片样本集；利用训练集合训练一个神经网络；当计算好损失函数后，为了对神经网络进行参数更新；对神经网络进行训练之后，通过CNN高层语义信息的物体粗定位，然后沿着第三个维度方向进行加和操作，最后大于平均值的位置置为1，小于平均值的位置置为0；根据得到的图像蒙版，当图像蒙版值为1时，定义这个位置所包含的物体为前景物体，反之，当值为0时，定义这个位置背景；对于给定的物体定位分割，重新抽取更加具有区分度的特征。

技术领域

本发明涉及中心排序损失和弱监督物体定位的融合，尤其是涉及一种中心排序损失及弱监督物体定位的细粒度检索方法。

背景技术

近年来，随着移动设备以及互联网的发展，人们携带在身上的拍照设备的数量以及质量开始出现指数级别的增长。用户更多的使用摄像机去产生用户内容，于此同时，当他们想去搜索一些内容时，越来越多的用户用图像信息来取代之前的文字信息，这就引导了基于内容的图像搜索(CBIR)系统的产生。在基于内容的图像搜索系统的环境设定下，用户需要输入一张图片，计算机通过对图片的理解，来根据相同内容进行相同或相似内容之间的比对，以此为基准，返回相同内容之间的排序序列。在1992年，T.Kato利用一些色彩以及形状来构建了一个数据库，并且以此建立了一个数据库来进行相关的检索，因而率先提出了这一概念。此后，CBIR被广泛的应用于各个领域进行产品实现或者研究验证。基于视觉的词袋模型(BoVW)以及倒排索引技术的提出，目前，最先进的以图搜图引擎，例如百度、谷歌、必应等公司，可以在数十亿图像的数据库内以毫秒为单位返回图像搜索序列。并且随着深度学习技术的发展，基于内容的检索系统在精度上有了极大的提高。在视觉检索领域，尽管已经提出了不同的方法来改进目前几乎重复的搜索结果，但就目前而言，仍然很难看到有搜索引擎以细粒度的概念去检索一个物体。也就是说，在进行视觉检索时，不仅仅考虑物体的大的类别，而进行物体细分领域的检索。例如，当用户上传拍摄的鸟或者花的图像时，检索返回的图像如果仅仅包含鸟这一概念的图片时，从根本上达不到用户检索的真正需求。用户更想要的是针对于拍摄物体的细分的概念。再比如当用户在街上看到一辆喜欢的车，或者一件喜欢的衣服，当进行相关的检索时，用户更喜欢返回和这个商品相关的细分的种类相关图片信息——这个车是宝马下面哪一个系的，这件衣服是哪个牌子的哪一款？而不是仅仅返回相同的车以及衣服。这就要求一个具体的图像搜索引擎在考虑图像表观特征的同时，还需要对物体细粒度方面的语义信息，进行相同的检索，并且针对于训练集和中没有出现过的类别，视觉检索系统依然有能力对他们进行有效的区分以及聚合。

早期的细粒度视觉检索从基于经典视觉的方法，利用视觉词袋树加上SVM语义分类器([1]Xie L,Wang J,Zhang B,et al.Fine-grained image search[J].IEEETransactions on Multimedia,2015,17(5):636-647)，同时获得细粒度图像的表观以及语义信息，进行级联检索，在深度学习时代，相关方法主要利用排序损失来学习一个从图像到特征的度量，也就是将缩小相似图片的欧式距离，反之亦然。值得注意的是，魏秀参等([2]Wei X S,Luo J H,Wu J,et al.Selective convolutional descriptor aggregation forfine-grained image retrieval[J].IEEE Transactions on Image Processing,2017,26(6):2868-2881)提出了一种基于定位的方法，利用定位信息在预先训练好的深度学习模型上来抽取特征，这样的方法大大地提升了精度，并且不需要任何的学习步骤，因此认为，在细粒度视觉检索中，定位是一个必不可少的部分。