[发明专利]一种面向遮挡场景的行人再识别方法

权利要求书

1.一种面向遮挡场景的行人再识别方法，其特征在于：该方法包括以下步骤：

步骤S1：借助预训练的姿态估计器生成人体关键点，结合全局特征使模型更加关注未被遮挡的行人区域，减少遮挡区域带来的噪声干扰；

步骤S2：引入全局对比池化模块，降低背景杂波和遮挡带来的噪声干扰，更好地表达整个行人身体区域信息；

步骤S3：通过One-vs-rest关系模块对局部分块特征进行更深层次的特征提取，使得每个局部层次的特征都包含相应部分本身和其他身体部分的信息，更好地反映各身体部分间的关系；

步骤S4：采用多种损失函数联合训练的方式对模型进行监督，使模型确保预测标签准确性的同时考虑类间离散性和类内紧凑性。

2.根据权利要求1所述的面向遮挡场景的行人再识别方法，其特征在于：所述步骤S1具体包括以下步骤：

步骤S11：输入一张行人图片即原始图片，通过预训练的姿态估计器生成人体关键点M_i、各关键点对应的坐标(x_i,y_i)和置信度

步骤S12：通过过滤机制，去除置信度较低的关键点，即将置信度大于阈值θ的关键点坐标保留，将置信度小于阈值θ的关键点坐标剔除，其中，过滤机制如公式1所示：

其中，M_i、(x_i,y_i)和分别表示第i个关键点以及该点对应的坐标和置信度，θ表示过滤机制中的阈值，N表示关键点的个数；

步骤S13：将关键点映射到原始图片上生成热度图，经过双线性插值方法进行下采样之后，与全局特征结合形成姿态引导特征；

步骤S14：将经过平均池化、最大池化所得到的姿态引导特征与局部特征分支中平均池化后的全局特征进行拼接，并经过全连接层降维；

步骤S15：通过全连接层和softmax层对提取到的全局特征进行标签预测。

3.根据权利要求1所述的面向遮挡场景的行人再识别方法，其特征在于：所述步骤S2具体包括以下步骤：

步骤S21：将局部分块特征P₁～P₆经过全局最大池化和全局平均池化得到P_max和P_avg，二者做减法，获得差异性特征P_cont，计算过程如公式2所示：

P_cont＝P_max-P_avg 公式2

步骤S22：P_max和P_cont两部分特征分别经过一个由1×1卷积层、BN归一化层和ReLU激活函数层构成的子网络进行降维，得到特征和二者拼接后再次输送到一个子网络中从2c维降为c维，最后与相加得到具有代表性的全局特征Q₀，具体实现过程如公式3所示：

其中，Q₀表示全局对比特征，CBR表示由1×1卷积层、BN归一化层和ReLU激活函数层构成的子网络，Concat(·)表示拼接操作。

4.根据权利要求1所述的面向遮挡场景的行人再识别方法，其特征在于：所述步骤S3具体包括以下步骤：

步骤S31：以P_i为例，对P_i之外的其他局部特征P_j进行全局平均池化得到R_i，计算过程如公式4所示：

其中，P_j表示除了第i部分局部特征之外的其他部分局部特征；

步骤S32：P_i和R_i两部分特征分别经过一个由1×1卷积层、BN归一化层和ReLU激活函数层构成的子网络进行降维，得到特征和二者拼接后再次输送到一个子网络中从2c维降为c维，最后与整合得到具有全局联系的局部特征Q_i，具体实现过程如公式5所示：

其中，Q_i表示具有全局联系的局部特征，CBR表示由1×1卷积层、BN归一化层和ReLU激活函数层构成的子网络，Concat(·)表示拼接操作。

5.根据权利要求1所述的面向遮挡场景的行人再识别方法，其特征在于：所述步骤S4具体包括以下步骤：

步骤S41：采用交叉熵损失函数对姿态引导特征进行约束，即计算预测标签和真实标签之间的差异性，计算过程如公式6和公式7所示：

其中，L_{ID_loss}表示交叉熵损失函数，K表示类别数，c表示某一类别，表示特征q_i经过全连接层分类之后的输出值；N和yⁿ分别表示小批次输入图像的数量和真实标签，表示每个特征q_i的预测标签；

步骤S42：采用难样本采样三元组损失和中心损失三种损失函数，对全局对比特征和局部关系特征进行约束；

难样本采样三元组损失函数的计算过程如公式8所示：

其中，N_K表示小批量的实体个数，N_M表示每个实体对应的图像数量，α表示控制正负样本对在特征空间中的距离的阈值参数，和分别表示锚点图片、正样本和负样本，k和l分别表示实体索引；m和n表示图像索引；

中心损失函数的计算过程如公式9所示：

其中，m表示批次大小，和y_i分别表示批量数据中第i张图片的特征和标签，表示同属于y_i类别的样本数据的特征中心点；

步骤S43：将步骤S41、步骤S42中的损失函数进行联合，共同监督模型的训练过程，减小分类误差的同时，约束样本的类间距离和类内距离，使网络模型学习到更具判别力的特征，提高网络模型的泛化能力，计算过程如公式10、公式11、公式12所示：

L_ML＝λL_GCLR+(1-λ)L_PGF 公式10

L_PGF＝L_{ID_loss} 公式11

L_GCLR＝L_TriHard+αL_{ID_loss}+βL_{Center_loss} 公式12

其中，L_ML表示联合损失函数，L_PGF表示姿态引导特征采用的交叉熵损失函数，L_GCLR表示全局对比特征和局部关系特征采用的三种损失函数，L_TriHard表示难样本采样三元组损失函数，L_{ID_loss}表示交叉熵损失函数，L_{Center_loss}表示中心损失函数，α、β和λ表示用于平衡各部分损失的权重系数。