[发明专利]基于多特征信息捕捉和相关性分析的物品图像重识别方法

权利要求书

1.一种基于多特征信息捕捉和相关性分析的物品图像重识别方法，其特征在于，包括：

a)采集若干张物品图像组成物品图像重识别数据库，标注数据库中物品图像的ID信息，将数据库划分为训练集和测试集；

b)建立基于多特征信息捕捉和相关性分析的物品图像重识别模型；

c)使用交叉熵损失函数和三元组损失函数优化物品图像重识别模型的目标函数；

d)将采集到的物品图像人工标记ID信息后，输入步骤c)优化后的物品图像重识别模型中进行训练，得到训练完成的物品图像重识别模型，将训练好的物品图像重识别模型进行保存；

e)将待检索的物品图像输入步骤d)中训练好的物品图像重识别模型，得到待检索物品的特征；

f)将待检索物品的特征与测试集中物品图像特征进行比较，通过相似性度量对比较结果进行排序；

步骤b)包括如下步骤：

b-1)将输入图像的网络设为两个分支网络，分别为第一特征分支网络和第二特征分支网络；

b-2)将训练集中物品图像h输入到第一特征分支网络中，为实数空间，e为物品图像h的水平像素数，w为物品图像h的垂直像素数，3为每个RGB图像的通道数，将物品图像h通过卷积层处理得到特征图f，使用通道注意力机制对特征图f进行处理，对特征图f一次进行全局平均池化及全局最大池化操作，分别得到两个一维向量，将两个一维向量依次经过卷积、ReLU激活函数、1*1的卷积、sigmoid函数操作进行归一化处理，完成对特征图f进行加权，使用空间注意力机制对加权后的特征图f中的每个位置的所有通道上做最大池化和平均池化，分别得到最大池化后的特征图和平均池化后的特征图进行拼接，将拼接后的特征图进行7*7的卷积后使用批归一化层和sigmoid函数进行归一化处理，将归一化后的拼接的特征图和特征图f相乘得到新的特征；

b-3)将训练集中物品图像h输入到第二特征分支网络中，将图像h进行分块处理，得到n个二维的块，通过一个线性变换层将二维的块嵌入表示为一维的向量p为图像块的分辨率，n＝ew/p²，通过公式计算所有块的均值嵌入h_a，h_i为通过高斯分布初始化得到的第i个块的嵌入，i∈{1,...,n}，通过公式a_i＝q^Tσ(W₁h₀+W₂h_i+W₃h_a)计算得到第i个块的注意力系数a_i，式中q^T为权重，σ为sigmoid函数，h₀为类标记，W₁、W₂、W₃均为权重，通过公式计算每个块的新的嵌入h_l，通过公式h₀′＝W₄[h₀||h_l]计算新的类标记h₀′，式中W₄为权重；

b-4)将新的类标记h₀′与输入大小为的序列作为新的图像的整体表示，d_c＝d*m，d为多头注意力机制中每个自注意力机制头部的维度大小，m为多头注意力机制的头数，在新的图像中添加位置信息后作为transformer encoder的输入，完成物品图像重识别模型的建立。