[发明专利]基于姿态和注意力机制的行人再识别方法、系统、装置

权利要求书

1.一种基于姿态和注意力机制的行人再识别方法，其特征在于，该行人再识别方法包括：

步骤S10，获取待识别的行人图像，作为第一图像；

步骤S20，采用姿态估计网络提取所述第一图像的行人姿态信息，生成行人关键点；

步骤S30，基于所述行人关键点，将所述第一图像的冗余背景信息删除，并修正行人检测框，获得第二图像；

步骤S40，通过特征提取网络将所述第二图像生成特征图，获得第一特征图；将所述行人关键点通过高斯化、二值化以及归一化生成与所述特征图相同大小的硬注意力图；

步骤S50，融合所述第一特征图与硬注意力图，获得第二特征图；

步骤S60，通过软注意力网络获取所述第二特征图相同大小的软注意力图，并与所述第二特征图融合获得第三特征图；

步骤S70，对所述第三特征图进行全局平均池化以及特征降维，获得用于计算相似度实现行人匹配的特征向量，即行人再识别的特征向量。

2.根据权利要求1所述的基于姿态和注意力机制的行人再识别方法，其特征在于，所述第一图像的冗余背景信息为：

所述第一图像中行人的上、下、左、右四个区域。

3.根据权利要求1所述的基于姿态和注意力机制的行人再识别方法，其特征在于，步骤S50中“融合所述第一特征图与硬注意力图，获得第二特征图”，其方法为：

其中，F₁为第一特征图，F₂为第二特征图，Mask_h为硬注意力图，分别表示逐元素相乘、逐元素相加。

4.根据权利要求1所述的基于姿态和注意力机制的行人再识别方法，其特征在于，步骤S60中“通过软注意力网络获取所述第二特征图相同大小的软注意力图，并与所述第二特征图融合获得第三特征图”，其方法为：

步骤S61，通过软注意力网络获取所述第二特征图相同大小的软注意力图：

Mask_s＝Sigmoid(BN(Conv(ReLU(Conv(F₂)))))

其中，Mask_s表示软注意力图，F₂为第二特征图，Conv表示1×1卷积操作，BN表示批归一化，Sigmoid、ReLU表示激活函数；

步骤S62，将获取的软注意力图与所述第二特征图融合获得第三特征图：

其中，F₂为第二特征图，F₃为第三特征图，Mask_s为软注意力图，分别表示逐元素相乘、逐元素相加。

5.根据权利要求1所述的基于姿态和注意力机制的行人再识别方法，其特征在于，步骤S70中“对所述第三特征图进行全局平均池化以及特征降维，获得用于行人再识别的特征向量”之后还设置有增强识别的步骤，其方法为：

采用交叉熵损失和三元组损失在获取的标注过行人类别的数据集上对提取的特征向量进行有监督训练。

6.根据权利要求5所述的基于姿态和注意力机制的行人再识别方法，其特征在于，所述交叉熵损失为：

其中，L_softmax代表交叉熵函数，w_k表示第k类的权值，w_i为一个Bathsize中第i个图像对应的权值，C表示获取的标注过行人类别的数据集中行人类别的数量，N表示一个Bathsize中包含的图像的数量，f_i表示一个Bathsize中第i个图像对应的特征向量。

7.根据权利要求5所述的基于姿态和注意力机制的行人再识别方法，其特征在于，所述三元组损失为：

其中，L_triplet代表三元组损失函数，表示训练图像集中任意一张基准行人图像提取的特征向量；表示与基准行人代表同一个人的另一张图像所提取出的特征向量，作为正样本；表示其他人的图像所提取出的特征向量，作为负样本；α表示三元组约束的阈值；P表示一个Bathsize中有P个ID，K表示一个ID选取K张图像。