[发明专利]基于关键点优化和多跳注意图卷积行人重识别方法及系统

说明书

本发明提出了基于关键点优化和多跳注意图卷积行人重识别方法及系统，包括：提取图像中的关键点，获取每个关键点相应的置信度等级，基于图像中行人被遮挡时，相应关键点的置信度低，将置信度等级低的关键点利用其他关键点的相应特征来近似估计受遮挡关键点的特征信息；针对处理后的关键点的特征信息，利用增加了多跳注意力机制的特征学习网络进行学习，考虑了网络中每一层的有效信息，将注意力矩阵与特征信息相结合，得到特征学习的输出；对于输出的特征，特征匹配网络通过图匹配算法和人体拓扑特征对比两幅图像中的节点关系，输出预测的分类结果。本发明提高了受遮挡的行人重识别的精度。

技术领域

本发明属于图像识别技术领域，尤其涉及基于关键点优化和多跳注意图卷积行人重识别方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

行人重识别的目标是在多个不相关的摄像头中找到指定的人。大多数现有的方法都是采用深度学习的方法，通过训练神经网络来获得人的外观特征，这些方法可能会在几个特定的数据集上取得很好的结果，但是在实际情况下由于摄像机所拍摄获得的图像可能不能构建理想的数据集。具体来说，由于外部环境因素的影响，行人可能处于各种障碍物的阴影下，很难获得完整的行人图像。

近年来，一些基于局部特征的方法被提出来处理这类被遮挡的行人图像。然而，这些方法由于需要严格的特征对齐，因此这类方法在遮挡数据集上不能取得很好的效果。因为被遮挡的图像含有的判别信息较少，从而导致图像匹配难度较大。而这种对遮挡图片的重识别问题，被称为遮挡的的行人重识别问题。对于被遮挡的待检测图像，有方法采用忽略遮挡部分，只使用未被遮挡的特征。这种方法使模型只关注未遮挡的部分。也有人采用直接分割图像的方法，从无遮挡物的区域提取特征。然后水平分割全局特征，利用局部特征和全局特征联合进行学习。另外也有研究者提出了一种深度空间特征重构算法，该算法不需要图像对齐，也不限制输入图像的大小，提高了检测的精度。

但是发明人在研究中发现，虽然现在对于受遮挡的行人重识别问题有许多的解决办法，但大都采用直接舍弃遮挡点的办法，比如输入图像的下方的某些身体部位被遮挡了，这导致模型对遮挡的这一部分的学习效果很差，因此当某些部位被遮挡，模型对这一部分学习意义并不突出时，这些部位就会被故意丢弃，只学习那些没有遮挡的部位。很明显，这种策略并不可靠。

发明内容

为克服上述现有技术的不足，本发明提供了基于关键点优化和多跳注意图卷积行人重识别方法，提高对受遮挡的行人图片的判别能力。

为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：

第一方面，公开了基于关键点优化和多跳注意图卷积行人重识别方法，包括：

提取图像中的关键点，获取每个关键点相应的置信度等级，基于图像中行人被遮挡时，相应关键点的置信度低，将置信度等级低的关键点利用其他关键点的相应特征来近似估计受遮挡关键点的特征信息；

针对处理后的关键点的特征信息，利用增加了多跳注意力机制的特征学习网络进行学习，考虑了网络中每一层的有效信息，将注意力矩阵与特征信息相结合，得到特征学习的输出；

对于输出的特征，特征匹配网络通过图匹配算法和人体拓扑特征对比两幅图像中的节点关系，输出预测的分类结果。

作为进一步的技术方案，构建由卷积神经网络和人体关键点提取网络组成的特征提取网络，之后添加用于人体关键点优化的优化网络，二者联合构成特征提取与优化网络，特征提取与优化网络用于从被遮挡的图片中得到优化后的特征信息。

作为进一步的技术方案，还包括网络训练步骤，将训练集图像，经过特征提取与优化网络、特征学习网络、特征匹配网络处理得到预测的分类结果，传入到损失函数里，计算每部分损失并使用反向传播算法对每一部分进行参数更新直至网络收敛，最后传入测试集图像，利用训练好的网络得到较为精确地分类结果，对遮挡行人重识别。