[发明专利]一种姿态驱动的遮挡行人重识别方法

权利要求书

1.一种姿态驱动的遮挡行人重识别方法，其特征在于：该方法包括以下步骤：

S1：输入待识别的图像，经过预处理后调整为标准输入图像；

S2：通过卷积神经网络来提取输入图像的特征，作为全局特征；

S3：通过人体姿态估计网络来提取输入图像的特征，作为人体姿态特征；

S4：基于人体姿态特征，分别通过预训练好的局部可见度预测器模块得到各个局部的可见度评分，通过预训练好的局部注意力生成器模块生成注意力掩膜；

S5：将全局特征与所述注意力掩膜输入到局部加权池化模块中，得到局部特征；

S6：根据可见度评分选取输入图像可见部分的局部特征和图像库中的对应特征计算距离并按照升序排序，将排序结果作为行人重识别模型的输出；

具体包括以下步骤：

S11：获取行人重识别数据集，将数据集划分为训练集合测试集，在训练过程中每次随机选择P位行人，每个行人随机挑出K张图像，作为输入图像；

S12：通过卷积神经网络来提取输入图像的特征，作为全局特征；

S13：通过人体姿态估计网络来提取输入图像的特征，作为人体姿态特征；

S14：基于人体姿态特征，分别通过预训练好的局部可见度预测器模块得到各个局部的可见度评分，通过预训练好的局部注意力生成器模块生成注意力掩膜；

S15：将全局特征与所述注意力掩膜输入到局部加权池化模块中，得到局部特征，将局部特征进行1×1的卷积和批量归一化后计算分类损失；

S16：将两张相同行人的不同图像提取得到的局部特征分别建立两张图，通过两张图构建关联矩阵，根据关联矩阵计算得到局部可见度伪标签，将该伪标签与对应两张图像的局部可见度评分计算可见度验证损失；

S17：基于分类损失和可见度验证损失调整所述行人重识别网络的参数；

S18：重复S11～S17，直到分类损失和可见度验证损失基本不再变化；

所述分类损失为：

其中，N是在训练时的行人ID总数；p_i是网络预测输入图像为第i类的概率；y是该图像的实际类别；

当输入图像到行人重识别模型后，会得到对应于所有类别的概率p_i；若输入图像的类别为y，除q_y为1，其余q_i均为0；

所述关联矩阵为：

其中，p和g表示两个相同ID的不同的图像序号；f_i表示图像的第i部分局部特征；ε_i，j表示第i部分和第j部分局部特征形成的边；该矩阵的对角线元素由两张图像相同部分的局部特征点乘求和得到，而非对角线元素则是由两张图像对应的边特征点乘求和后减去移动平均值得到；

所述可见度验证损失为：

其中，N_P是预先定义的局部分块数目；是所述局部可见度伪标签；分别表示两张相同ID的行人图像的可见度评分。

2.根据权利要求1所述的一种姿态驱动的遮挡行人重识别方法，其特征在于：所述卷积神经网络为ResNet残差网络。

3.根据权利要求1所述的一种姿态驱动的遮挡行人重识别方法，其特征在于：所述人体姿态估计网络为OpenPose网络。

4.根据权利要求1所述的一种姿态驱动的遮挡行人重识别方法，其特征在于：所述局部可见度预测器模块的运作为：

将人体姿态特征按照通道进行全局平均池化，得到该人体姿态特征各通道的全局信息特征；

将各通道全局信息特征输入到大小为局部分块数量的全连接层，得到降维后的第一特征；

将降维后的第一特征通过批量归一化和Sigmoid激活函数得到各个局部的可见度评分。

5.根据权利要求1所述的一种姿态驱动的遮挡行人重识别方法，其特征在于：所述局部注意力生成器模块的运作为：

将人体姿态特征进行1×1的卷积，将特征降维到局部分块数量的维度，得到降维后的第二特征；

将降维后的第二特征通过批量归一化和Sigmoid激活函数得到各个局部区域的注意力掩膜。

6.一种处理装置，包括处理器、存储装置；处理器，适用于执行各条程序；存储装置，适用于存储多条程序；所述程序适用于由处理器加载并执行以实现权利要求1～5中任一项所述的一种姿态驱动的遮挡行人重识别方法。