[发明专利]一种快速的多标签图片检索系统及实现方法

权利要求书

1.一种快速的多标签图片检索的方法，其特征在于包括如下步骤：

在一卷积神经网络中，部署用于提取候选区域的候选区域生成网络RPN网络，并提取出图片的候选区域信息，对得到的候选区域信息进行ROI池化计算；

池化结束后通过一全连接层，再根据多标签信息建立一多标签分类损失函数来训练所述卷积神经网络，同时建立一加权三维损失函数来训练上述的卷积神经网络，多标签信息为图片中同时包含的多个标注信息；

通过经过多任务学习后的卷积神经网络在图片候选集中提取每一张图片的哈希码并存入数据库，

若输入需要查询的图片，则通过所述经过多任务学习后的卷积神经网络中的前馈计算提取得到需要查询的图片的哈希码，并与数据库中的哈希码对比后，完成图片检索；

其中，建立一多标签分类损失函数来训练所述卷积神经网络时具体步骤如下：

2-1)根据多标签信息得到标签的总个数为C，

2-2)连接一个通道数为C的全连接层后，输入N个候选区域得到一个N*C矩阵，

2-3)在所述N*C矩阵中的每一行表示一个候选区域所对应的特征向量，维度为C，Y¹，Y²，...，Y^N分别表示每个候选区域对应的特征向量，再进行如下计算y_j＝max{Y_j¹，Y_j²，...，Y_j^N}j＝1，2，...，C，其中y_j表示第j类标签对应的特征值，

2-4)经过下面的公式得到一个概率分布p＝(p₁，p₂，...，p_C)：

2-5)通过下述的多标签分类损失函数来训练卷积神经网络：

其中c⁺表示图片包含的所有标签，|c⁺|表示图片中的真实标签数量。

2.根据权利要求1所述方法，其特征在于，同时建立一加权三维损失函数来训练上述的卷积神经网络的步骤具体包括：

3-1)设一全连接层的通道数为B，得到一个N*B矩阵，

3-2)在所述N*B矩阵中，每一行表示一个候选区域对应的特征向量，再用H表示所述N*B矩阵，用P表示所述N*C矩阵；

3-3)在H中，用H_i表示第i个候选区域对应的特征，

3-4)在P中，用P_i^j表示第i个候选区域属于第j个标签的概率，

3-5)通过融合P和H得到一个c*b维的向量，这个向量分为c组，每一组表示对应特定标签的b维特征向量，具体计算如下公式所示：

其中，表示Kronecker积，对于一个c维的向量P_i和一个b维的向量H_i，Kronecker积可以得到一个c*b维的向量：

其中，表示向量P_i的第c维，表示向量H_i的第b维；

3-6)经过上面计算得到一个c*b维的向量F，作为c组，每一组表示对应特征标签的特征向量，之后再接入一个通道数为q的全连接层，

3-7)用下面的损失函数来训练网络：

其中，f_i，f_i⁺，f_i^-表示训练集中的一个三元组对应的特征，分别表示锚样本，相似样本，以及非相似样本的特征；s(*，*)表示两个样本之间公共标签的数目。

3.根据权利要求1所述方法，其特征在于，还包括：根据提取得到的需要查询的图片的哈希码，和数据库中的哈希码分别计算出汉明距离来度量图片之间的相似性。

4.根据权利要求3所述方法，其特征在于，数据库中的每张图片以及待查询的图片都由一个48bit的短向量表示。