[发明专利]基于多代理度量学习的图像检索方法

说明书

本发明公开了一种基于多代理度量学习的图像检索方法，包括：1)为训练数据集中每个类别分配固定数量的代理并初始化；2)从训练数据集中采样小批量样本，将该样本输入神经网络模型中得到特征向量；3)构建采样样本与代理之间的关联关系图；4)根据关联关系和损失函数，通过梯度反向传播算法更新模型的参数值和代理的参数值；5)循环2)‑4)直到达到预设的训练停止条件，即完成训练，得到最终用于图像检索的模型。本发明基于多代理度量学习，为每个类设置多个代理来保持同类样本的差异性特征，损失函数在保证难例样本分辨能力的同时促进异类样本之间特征共享，从而提升模型在新类别上的泛化能力，从而提升图像检索的成功率。

技术领域

本发明涉及图像检索的技术领域，尤其是指一种基于多代理度量学习的图像检索方法。

背景技术

深度度量学习旨在学习一种语义度量方法，通过深度神经网络将样本映射到嵌入空间，使得相似语义样本彼此靠近而不同语义样本彼此远离。深度度量学习是图像检索领域的最常用方法之一。

基于度量学习的图像检索技术主要可以分为两个方向：1、基于样本对的方法，这类方法往往依赖于采样技术，需要将采样到的同类样本彼此拉近或者异类样本彼此推远。2、基于代理的方法，即为训练集中的每个类设置一个或多个代理，同类的样本和代理之间彼此靠近，异类的样本和代理之间彼此远离。

然而，图像检索往往是开集场景，即不断有新类别的样本需要被检索，即测试集和训练集不满足独立同分布。以前的方法往往仅关注于提升训练集中不同类别样本之间的分辨能力，这是不足够的，因为训练集上的辨能力并不总能泛化到测试集，甚至训练集上过强的分辨能力反而会导致测试集上更差的表现。如何提升模型在测试集的泛化能力是目前该领域最值得研究的课题之一。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提出了一种基于多代理度量学习的图像检索方法，能够通过保持同类样本分布多样性和促进异类样本之间特征共享提升模型泛化能力，从而提升模型在测试集上的性能表现。

为实现上述目的，本发明所提供的技术方案为：基于多代理度量学习的图像检索方法，包括以下步骤：

1)准备训练数据集和经过预训练的神经网络模型，为训练数据集中每个类别分配固定数量的代理并初始化其特征向量；

2)从步骤1)准备的训练数据集中采样小批量样本，将样本输入步骤1)准备的神经网络模型中得到样本的特征向量；

3)根据步骤2)的样本的特征向量和步骤1)的代理的特征向量构建样本与代理之间的关联关系图；

4)根据步骤3)的关联关系图，运用基于多代理度量学习的损失函数计算损失值，通过梯度反向传播算法更新模型的参数值和代理的参数值；

5)循环步骤2)-4)直到达到预设的训练停止条件，即完成训练，训练得到的最终神经网络模型即可用于图像检索；

对于测试阶段，准备查询图像和测试数据集，将查询图像和测试数据集输入步骤5)得到的最终神经网络模型，得到查询图像的特征向量和测试数据集中样本的特征向量，测试数据集中与查询图像的特征向量的余弦距离最近的Top-K个样本即为该查询图像的检索结果。

进一步，在步骤1)中，每个代理是一个可学习的张量，其维度与步骤1)中的神经网络模型输出特征向量维度相同，即神经网络最后一层为全连接层，且神经元数量与代理特征向量的长度相等，其值能通过梯度反向传播算法进行更新。

进一步，在步骤2)中，采样方式为随机采样，先将训练数据集中样本随机排序，再根据排序结果顺序采样，整个训练数据集都被采样后再重复上述排序和采样过程。

进一步，在步骤3)中，先根据样本与同类代理的特征向量之间的余弦距离构建样本与同类代理的关联关系图，再根据样本与同类代理的关联关系和样本与异类代理的特征向量之间的余弦距离构建样本与异类代理的关联关系图，具体包括：