[发明专利]一种基于掩膜对齐与注意力机制的行人再识别方法和装置

说明书

本申请公开了一种基于掩膜对齐与注意力机制的行人再识别方法和装置，通过对待识别行人图像进行分割处理，得到包含前景掩膜的第一二值图像，进而得到前景掩膜的两个点的坐标；将待识别行人图像和两个坐标输入到预置MAST‑ReIdCNN模型中进行特征提取，空域注意力模块和时域注意力模块对提取的特征进行特征筛选，筛选掉对识别贡献度低的特征以及杂乱的背景特征，保留贡献度高的特征，并添加时域和空域上的注意力机制，以提高识别准确率；将不同尺寸的特征图映射到同一特征空间，避免了行人未对齐而影响识别率的问题，解决了现有的行人再识别方法由于行人图像存在背景杂乱和行人未对齐等原因所导致的行人再识别的准确率不高的技术问题。

技术领域

本申请涉及图像识别技术领域，尤其涉及一种基于掩膜对齐与注意力机制的行人再识别方法和装置。

背景技术

行人再识别是指识别出不相重叠摄像头下的行人是否为同一人，可视为图像检索的子问题。由于行人在不同时段出现在不同的摄像头下，会存在光照的变化、行人姿态的变化以及摄像头与行人之间视角的变化的问题，因此，摄像头拍摄的行人图像存在背景杂乱和行人未对齐等问题，使得行人再识别的准确率不高。

发明内容

本申请提供了一种基于掩膜对齐与注意力机制的行人再识别方法和装置，用于解决现有的行人再识别方法由于行人图像存在背景杂乱和行人未对齐等原因所导致的行人再识别的准确率不高的技术问题。

有鉴于此，本申请第一方面提供了一种基于掩膜对齐与注意力机制的行人再识别方法，包括：

对获取的待识别行人视频进行分帧处理，得到若干帧待识别行人图像；

对所述待识别行人图像进行分割处理，得到包含前景掩膜的第一二值图像；

基于所述第一二值图像得到所述前景掩膜的左上角和右下角两个点的坐标；

将所述待识别行人图像和所述待识别行人图像对应的两个坐标输入到预置MAST-ReIdCNN模型，使得所述预置MAST-ReIdCNN模型中的空域注意力模块对第一池化层输出的特征图进行特征筛选，时域注意力模块对第二池化层输出的特征向量进行特征筛选，裁剪层基于目标卷积层输出的特征图大小和输入的所述两个坐标对所述目标卷积层输出的特征图进行分割，输出所述前景掩膜的特征图，第三池化层对所述前景掩膜的特征图进行处理，输出所述前景掩膜的特征向量，融合层对所述前景掩膜的特征向量和时域注意力模块输出的特征向量进行特征融合，输出待识别行人特征；

计算所述待识别行人特征与预置图库集中的匹配图像的行人特征的欧式距离，将最小的所述欧式距离对应的所述匹配图像作为行人再识别结果。

优选地，所述将所述待识别行人图像和所述待识别行人图像对应的两个坐标输入到预置MAST-ReIdCNN模型，之前还包括：

构建MAST-ReIdCNN模型，所述MAST-ReIdCNN模型包括5个所述卷积层、4个所述第一池化层、1个所述第二池化层、1个所述第三池化层、1 个所述裁剪层、1个所述融合层、4个所述空域注意力模块、1个所述时域注意力模块和损失函数。

优选地，所述损失函数包括交叉损失函数和三元组损失函数。

优选地，所述构建MAST-ReIdCNN模型，之后还包括：

对获取的训练集中的训练图像进行分割处理，得到包含前景掩膜的第二二值图像；

基于所述第二二值图像得到所述前景掩膜的左上角和右下角两个点的坐标；

将所述训练图像和所述训练图像对应的两个坐标输入到所述 MAST-ReIdCNN模型，对所述MAST-ReIdCNN模型进行训练；