[发明专利]一种基于目标检测的视觉目标检索方法与系统

说明书

本发明涉及一种基于目标检测的视觉目标检索方法和系统，包括：采用IDF带权的交叉熵损失函数对公共目标检测数据集进行训练，生成初步目标检测模型；采用包含用户指定目标类型的检索数据集对初步目标检测模型进行微调，生成最终目标检测模型；通过最终目标检测模型对待检索图片中的视觉目标进行特征提取，生成待检索图片的多个卷积特征图，通过空间注意力矩阵将卷积特征图进行聚合，生成聚合特征向量，以在图片库中检索与聚合特征向量相匹配的图片。本发明通过将视觉目标检索与检测相关联，避免了候选窗口预测步骤，并通过选择性累加特征图得到注意力矩阵，将卷积层的局部描述子带权聚合成一个全局特征表达用于视觉目标检索，提高了检索速度和精度。

技术领域

本发明涉及多媒体内容分析领域，特别涉及一种基于目标检测的视觉目标检索方法与系统。

背景技术

视觉目标检索为图像检索的一种，它在商品搜索、目标识别、目标跟踪等领域得到广泛的应用。区别于基于内容的近似图像检索，视觉目标检索要检索的不是与查询图像相似的图像，而是与查询图像具有同一视觉目标的图像。如图1左侧内容所示，这一视觉目标只占据图像的一小部分(白框内为目标)，并且包含该目标的查询图像与图1右侧库中图像在拍摄角度、光照、形状和大小等方面存在很大的差异。研究视觉目标检索具有重要的意义，同时也具有极大的挑战性。

传统的目标检索方法通过提取图像的局部特征如SIFT、SURF等进行特征匹配，并辅以几何关系验证，在该任务上展现出了良好的鲁棒性。但由于局部特征提取和空间关系验证非常耗时，对于实时性要求高的场合难以适用。近年来，基于深度学习的目标检索技术备受关注，这些技术按照是否需要针对目标任务重新学习可分为两大类：一、利用在大规模分类数据集(如ImageNet)上预训练好的模型直接提取现成的特征进行检索，该类技术侧重于如何利用已有的网络模型提取出适用于检索的特征，避免了面向检索的训练数据集缺乏的问题，但是预训练的模型往往是通过训练面向分类的神经网络(如AlexNet、VGGNet、GoogleNet、ResNet等)而获得的，不是面向检索的网络模型，因而其检索结果很难再进一步提高。二、利用目标相关的数据集对网络进行微调。该类方法利用排序损失(Rank Loss)和对比损失(Contrastive Loss)等面向检索的损失函数端到端学习针对检索的特征。针对目标任务再次学习的方法整体上比利用现成网络模型直接提特征的方法要好，但是其结果往往严重依赖于微调的数据集与目标数据集的视觉相似度。也就是说，如果组织其他辅助数据集学习，则存在域迁移的问题。直接利用目标数据集的查询图片微调可以避免这个问题，但是查询图片的数量极其有限，难以直接用于训练深层网络。