[发明专利]基于多代理度量学习的图像检索方法

权利要求书

1.基于多代理度量学习的图像检索方法，其特征在于，包括以下步骤：

1)准备训练数据集和经过预训练的神经网络模型，为训练数据集中每个类别分配固定数量的代理并初始化其特征向量；

2)从步骤1)准备的训练数据集中采样小批量样本，将样本输入步骤1)准备的神经网络模型中得到样本的特征向量；

3)根据步骤2)的样本的特征向量和步骤1)的代理的特征向量构建样本与代理之间的关联关系图；

先根据样本与同类代理的特征向量之间的余弦距离构建样本与同类代理的关联关系图，再根据样本与同类代理的关联关系和样本与异类代理的特征向量之间的余弦距离构建样本与异类代理的关联关系图，具体包括：

3.1)用如下公式计算样本与代理的特征向量之间的余弦距离：

式中，x表示单个样本的特征向量，p表示单个代理的特征向量，s(x,p)表示样本与代理的特征向量之间的余弦距离；

3.2)根据步骤3.1)中所得样本与代理的特征向量之间的余弦距离，用以下公式计算样本与同类代理之间的关联概率：

式中，x_i为第i个样本的特征向量，y_i表示第i个样本x_i所属的类别，是与样本x_i同类的第j个代理的特征向量，表示样本x_i与同类代理p_j的关联概率，s(,)是样本与代理的特征向量之间的余弦距离，m是为每个类别分配的代理数量，k表示一个类别中代理的索引，表示类别y_i对应的第k个代理，T是温度因子，影响关联概率的置信程度；

3.3)根据步骤3.2)中所得样本与同类代理之间的关联概率，用如下公式确定样本与同类代理之间是否关联：

式中，R⁺表示样本与同类代理之间的关联关系图，则表示样本x_i与代理p_j是否关联，1表示样本与代理关联，0表示不关联，γ为一个超参数，表示样本与同类代理关联所需的置信度；

3.4)根据步骤3.3)中得到的样本与同类代理之间的关联关系，用如下公式确定样本与异类代理之间的关联关系：

式中，R^-表示样本与异类代理之间关联关系图，则表示样本x_i与异类代理p_j之间是否关联，为样本x_i与同类代理p_k之间的关联关系；

R⁺和R^-共同表示了样本与代理之间的关联关系；

4)根据步骤3)的关联关系图，运用基于多代理度量学习的损失函数计算损失值，通过梯度反向传播算法更新模型的参数值和代理的参数值；

以单个代理为锚节点，将其与关联的同类样本彼此拉近，将其与关联的异类样本彼此推远，样本与代理之间的距离决定了拉近和推远的强度，同类样本和代理之间距离越远，则拉近强度越大，反之越小，异类样本和代理之间距离越近，则推远强度越大，反之越小，以此提升模型收敛速度和训练稳定性；

根据样本的特征向量和代理的特征向量之间的相似度以及样本和代理之间的关联关系，用如下公式计算损失函数：

式中，X表示样本特征向量集合，l(X)表示损失函数值，P⁺表示与采样样本同类的代理集合，P表示与采样样本异类的代理集合，|P⁺|表示与采样样本同类的代理数量，|P|表示代理总数量，R⁺为样本与同类代理之间的关联关系图，R^-为样本与异类代理之间的关联关系图，表示X中与代理p同类的样本集合，表示X中与代理p异类的样本集合，s(,)是样本与代理的特征向量之间的余弦距离，α是一个超参数，表示缩放系数，δ为另一个超参数，表示样本与代理之间应保持的距离；

5)循环步骤2)-4)直到达到预设的训练停止条件，即完成训练，训练得到的最终神经网络模型即可用于图像检索；

对于测试阶段，准备查询图像和测试数据集，将查询图像和测试数据集输入步骤5)得到的最终神经网络模型，得到查询图像的特征向量和测试数据集中样本的特征向量，测试数据集中与查询图像的特征向量的余弦距离最近的Top-K个样本即为该查询图像的检索结果。