[发明专利]一种快速的多标签图片检索系统及实现方法

说明书

本发明公开了一种快速的多标签图片检索系统及实现方法，方法包括：在一卷积神经网络中，部署用于提取候选区域的RPN网络，并提取出图片的候选区域信息，对得到的候选区域信息进行ROI池化计算；池化结束后通过一全连接层，再根据多标签信息建立一多标签分类损失函数来训练所述卷积神经网络，同时建立一加权三维损失函数来训练上述的卷积神经网络；通过经过多任务学习后的卷积神经网络在图片候选集中提取每一张图片的哈希码并存入数据库，与数据库中的哈希码对比后，完成图片检索。本发明通过分类与哈希的多任务学习来训练整个网络，从而有效地保证检索的准确性。同时在检索过程中使用汉明距离来度量相似度，大大提升了检索的效率。

技术领域

本发明涉及神经卷积网络和图像处理领域，特别涉及一种快速的多标签图片检索系统及实现方法。

背景技术

现如今对于多标签图片检索系统而言，为了提升检索的速度，很多方法都利用哈希方法来对特征二值化，并用汉明距离来度量相似度。在哈希方法方面，主要分为两种：非监督式的和监督式的。

非监督式的方法，例如LSH，通过随机的映射或者随机排列来构成哈希函数，并且不依赖空间中的数据点，这种方法往往需要较长的哈希码才能获得比较好的性能。

监督式的方法，即是通过学习的方法从训练集中学习得到哈希函数，利用了训练集中的标注信息，但是目前的方法大多数单任务的学习，即只利用成对的标注信息。例如DPSH方法是通过一个卷积神经网络结构来学习特征并同时学习哈希函数，在最后一层后面接入一个sigmoid激活层来将特征归一化到0-1，再加入pairwise损失函数来监督学习整个网络的参数。很多类似于DPSH的方法都是只利用到了成对的标签信息，即训练时输入一堆图片及其是否相似的标注信息并且输入的是整张图片。而实际上，对于多标签数据集而言，图片通常包含多个目标以及丰富的多标签信息。

所以，如何在提高检索效率的同时减少存储空间，是现在有待解决的技术问题。

发明内容

本发明要解决的技术问题是，提供减小检索系统中特征存储空间、同时提升检索效率的快速的多标签图片检索方法。

解决上述技术问题，本发明提供了一种快速的多标签图片检索的方法，包括如下步骤：

在一卷积神经网络中，部署用于提取候选区域的RPN网络，并提取出图片的候选区域信息，对得到的候选区域信息进行ROI池化计算；

池化结束后通过一全连接层，再根据多标签信息建立一多标签分类损失函数来训练所述卷积神经网络，同时建立一加权三维损失函数来训练上述的卷积神经网络；

通过经过多任务学习后的卷积神经网络在图片候选集中提取每一张图片的哈希码并存入数据库，

若输入需要查询的图片，则通过所述经过多任务学习后的卷积神经网络中的前馈计算提取得到需要查询的图片的哈希码，并与数据库中的哈希码对比后，完成图片检索。

本发明结合候选区域的信息提取图片中特定区域的特征，并利用到图片的多标签信息，在训练时进行多任务学习来促进哈希函数的学习，提升特征的表达能力。

更进一步，建立一多标签分类损失函数来训练所述卷积神经网络时具体步骤如下：

2-1)根据多标签信息得到标签的总个数为C，

2-2)连接一个通道数为C的全连接层后得到一个N*C矩阵，

2-3)在所述N*C矩阵中的每一行表示一个候选区域所对应的特征向量，维度为C，Y¹，Y²，…，Y^N分别表示每个候选区域对应的特征向量，再进行如下计算其中y_j表示第j类标签对应的特征值，