[发明专利]基于姿态和注意力机制的行人再识别方法、系统、装置

说明书

本发明属于图像识别技术领域，具体涉及了一种基于姿态和注意力机制的行人再识别方法、系统、装置，旨在解决不同任务数据集偏差导致无法准确获取图像关键点信息，行人再识别精度无法达到预期要求的问题。本发明方法包括：提取行人姿态并生成行人关键点；删除冗余背景信息并修正行人检测框；提取第一特征图并采用硬注意力机制模块获取硬注意力图；融合第一特征图与硬注意力图，得到第二特征图；采用软注意力机制模块获取软注意力图后再次融合；对融合后的第三特征图进行全局平均池化以及特征降维，获得用于行人再识别的特征向量。本发明结合硬注意力机制与软注意力机制，有效增强特征图前景信息，抑制背景噪声，提高了行人再识别的准确性和稳定性。

技术领域

本发明属于计算机图像识别技术领域，具体涉及了一种基于姿态和注意力机制的行人再识别方法、系统、装置。

背景技术

行人再识别是利用计算机视觉技术找出不同摄像头下的同一个目标的技术，它被认为是图像检索的子问题，广泛应用于智能视频监控、智能安保等领域，是建设智慧城市不可缺少的一部分。

行人重识别技术已经受到越来越多的关注。随着计算机视觉理论的发展以及硬件系统的支持，行人重识别技术有了很大的发展。早期行人重识别技术利用传统方法手工设计特征，但是只能应用于特定场景。特征表示能力不足，模型泛化能力不强。随着深度学习技术的发展，大量深度学习技术应用到行人再识别任务中，主要分为基于特征的学习和基于距离度量的学习两种方法。尽管在识别精度上有很大的提升，但是仍然存在一定的缺陷。行人再识别主要面临的问题有：视角变化、检测不准确导致的行人不匹配、遮挡以及相似的外观等。虽然有一些方法同样利用姿态信息或注意力机制来解决这些问题，但是姿态估计网络是在姿态估计的数据集上进行训练的，与行人再识别的数据集有一定偏差，比如在一些图像上无法准确获取行人的关键点，这种偏差反而会导致行人再识别性能下降。

总的来说，不同任务之间存在数据集的偏差的情况下，现有技术无法准确获取图像关键点信息，行人再识别精度无法达到预期的要求。

发明内容

为了解决现有技术中的上述问题，即不同任务之间存在数据集的偏差的情况下，现有技术无法准确获取图像关键点信息，行人再识别精度无法达到预期要求的问题，本发明提供了一种基于姿态和注意力机制的行人再识别方法，包括：

步骤S10，获取待识别的行人图像，作为第一图像；

步骤S20，采用姿态估计网络提取所述第一图像的行人姿态信息，生成行人关键点；

步骤S30，基于所述行人关键点，将所述第一图像的冗余背景信息删除，并修正行人检测框，获得第二图像；

步骤S40，通过特征提取网络将所述第二图像生成特征图，获得第一特征图；将所述行人关键点通过高斯化、二值化以及归一化生成与所述特征图相同大小的硬注意力图；

步骤S50，融合所述第一特征图与硬注意力图，获得第二特征图；

步骤S60，通过软注意力网络获取所述第二特征图相同大小的软注意力图，并与所述第二特征图融合获得第三特征图；

步骤S70，对所述第三特征图进行全局平均池化以及特征降维，获得用于计算相似度实现行人匹配的特征向量，即行人再识别的特征向量。

在一些优选的实施例中，所述第一图像的冗余背景信息为：

所述第一图像中行人的上、下、左、右四个区域。

在一些优选的实施例中，步骤S50中“融合所述第一特征图与硬注意力图，获得第二特征图”，其方法为：

其中，F₁为第一特征图，F₂为第二特征图，Mask_h为硬注意力图，分别表示逐元素相乘、逐元素相加。