[发明专利]基于关键点优化和多跳注意图卷积行人重识别方法及系统

权利要求书

1.基于关键点优化和多跳注意图卷积行人重识别方法，其特征是，包括：

提取图像中的关键点，获取每个关键点相应的置信度等级，基于图像中行人被遮挡时，相应关键点的置信度低，将置信度等级低的关键点利用其他关键点的相应特征来近似估计受遮挡关键点的特征信息；

针对处理后的关键点的特征信息，利用增加了多跳注意力机制的特征学习网络进行学习，考虑了网络中每一层的有效信息，将注意力矩阵与特征信息相结合，得到特征学习的输出；

对于输出的特征，特征匹配网络通过图匹配算法和人体拓扑特征对比两幅图像中的节点关系，输出预测的分类结果；

所述特征学习网络中每一层使用特征和邻接矩阵来提取相邻节点不同跳中节点层次的局部子结构特征，网络采用残差结构，将注意力卷积层叠加并构建一个注意力图卷积模块，每一卷积层都是前一层的输出和初始输入之和，采用一个稠密图来处理每一个卷积层的输出组合，最后将原始图卷积的最大/平均池化层更改为自注意力池化层，利用交叉熵损失层和三元组损失层对网络进行约束。

2.如权利要求1所述的基于关键点优化和多跳注意图卷积行人重识别方法，其特征是，构建由卷积神经网络和人体关键点提取网络组成的特征提取网络，之后添加用于人体关键点优化的优化网络，二者联合构成特征提取与优化网络，特征提取与优化网络用于从被遮挡的图片中得到优化后的特征信息。

3.如权利要求1所述的基于关键点优化和多跳注意图卷积行人重识别方法，其特征是，还包括网络训练步骤，将训练集图像，经过特征提取与优化网络、特征学习网络、特征匹配网络处理得到预测的分类结果，传入到损失函数里，计算每部分损失并使用反向传播算法对每一部分进行参数更新直至网络收敛，最后传入测试集图像，利用训练好的网络得到较为精确地分类结果，对遮挡行人重识别。

4.如权利要求1所述的基于关键点优化和多跳注意图卷积行人重识别方法，其特征是，所述特征提取与优化网络对图像的处理过程为：原始图片与网络输出的特征向量的结合，输出为特征向量、分类得分和每个关键点的置信度，然后添加交叉熵损失层和三元组损失层用于对于网络进行约束，其中交叉熵损失层的输入为分类得分和关键点的置信度，三元组损失层的输入则为特征向量与原始图片的标签。

5.如权利要求1所述的基于关键点优化和多跳注意图卷积行人重识别方法，其特征是，所述特征提取优化网络用于提取每个图像信息的特征，关键点信息通过关键点提取网络提取，特征由特征提取网络获得；

输入的图像经过关键点提取网络后得到图像H_kp的热图，热图中包含关键点信息，包括关键点的置信度H_lo和关键点位置H_co；

特征提取网络输出关键点对应的特征向量及全局特征。

6.如权利要求5所述的基于关键点优化和多跳注意图卷积行人重识别方法，其特征是，得到关键点在图像中的位置H_lo、相应的关键点的置信度H_co和特征信息F_cnn后，为每个关键点设定一个阈值α，通过迭代每个关键点的置信度H_co是否小于对应的关键点的阈值α，从而推断该关键点是否存在遮挡。

7.如权利要求6所述的基于关键点优化和多跳注意图卷积行人重识别方法，其特征是，当H_coα，把为每个关键点人为设定的遮挡标志位H_ju设为1，表明该关键点不存在遮挡；

如果H_coα，则说明存在遮挡，将H_ju设为0，每个关键点都包含一个H_ju，来表示该关键点是否存在遮挡；

当第i个关键点的H_ju(i)值为0时，表示存在遮挡，找到它对应的关键点j，并判断H_ju(j)的值是否为1，如果满足，就将该关键点的特征信息分配给被遮挡关键点的特征信息，否则不改变该关键点的特征信息。