[发明专利]一种基于残差网络与聚类三元组的图像检索方法

权利要求书

1.一种基于残差网络与聚类三元组的图像检索方法，其特征在于：包括

步骤1：基于改进残差网络构建特征提取模型；

步骤2：训练特征提取模型，具体为：

步骤201：基于特征提取模型提取样本图像的特征向量，对特征向量中的各类内样本进行最大最小距离聚类，得到聚类中心；

步骤202：基于聚类中心构建当前训练批次的聚类三元组，并计算聚类三元组损失；

步骤203：将聚类中心暂存在特征队列扩充样本集大小，构建跨批次的难例三元组，计算跨批次三元组损失；

步骤204：融合聚类三元组损失和跨批次三元组损失得到最终的损失函数，基于损失函数训练特征提取模型；

步骤3：基于特征提取模型提取目标图像的图像特征和各个候选图像的图像特征，从候选图像中检索出与所述目标图像相似的图像，实现图像检索。

2.根据权利要求1所述的基于残差网络与聚类三元组的图像检索方法，其特征在于：特征提取模型包括依次连接的残差单元、融合全局池化层、堆叠层和PCAneck模块；

残差单元包括依次连接的conv1_x、conv2_x、conv3_x、conv4_x和conv5_x；最后一个残差单元conv5_x中的3×3卷积层的步长由2改为1，去除了原残差网络中对特征图进行的最后一次下采样操作；融合全局池化层包括全局均值池化和全局最大值池化；

特征提取模型的提取步骤包括：

步骤101：残差单元对图像进行卷积，conv2_x、conv3_x、conv4_x和conv5_x输出的特征图分别送入融合全局池化层；

步骤102：融合全局池化层对输出的特征图分别进行全局均值池化和全局最大值池化，得到维度分别为256、512、1024、2048的4个特征向量；所述融合全局池化层的计算方式为：

feats_avg＝AvgPooling(xs)

feats_max＝MaxPooling(xs)

feats_out＝0.5*(feats_avg+feats_max)

式中，xs表示残差单元输出的特征图；AvgPooling表示全局均值池化操作，feats_avg表示全局均值池化后的特征图，MaxPooling表示全局最大池化操作，feats_max表示全局最大池化后的特征图，feats_out表示对全局均值池化后的特征图及全局最大池化后的特征图求平均所得的特征图；

融合全局池化层首先对输出的特征图xs分别进行全局均值池化和全局最大值池化，得到两个维度均等于通道数的特征向量，然后按位求均值，得到最终的维度仍等于通道数的特征向量；

步骤103：特征向量通过堆叠层堆叠成256+512+1024+2048＝3840维的特征向量；

步骤104：PCAneck模块使用512个1×1卷积层对堆叠出的3840维的特征向量进行降维，从高维向量中提取出特征向量并输出。

3.根据权利要求1所述的基于残差网络与聚类三元组的图像检索方法，其特征在于：步骤201具体包括：

步骤2011：训练集中随机选取C个不同的类别，再从各个类别中随机选取K个样本，构成包含C×K个样本的训练批次；

步骤2012：使用改进的残差网络提取训练批次中C×K个样本的特征向量F_batch；

步骤2013：依次对特征向量F_batch中的各个类别内的K个样本进行最大最小距离聚类；

步骤2014：以各个聚类内所有样本的特征向量的按位均值作为聚类中心，得到C～2C个聚类中心。