[发明专利]一种基于视频轨迹特征关联学习的无监督行人重识别方法

权利要求书

1.一种基于视频轨迹特征关联学习的无监督行人重识别方法，其特征在于，包括以下步骤：

S1：输入行人重识别视频数据集，数据集由视频片段组成，视频片段包括多条行人轨迹和多张行人图像；

S2：对行人重识别视频数据集进行稀疏时空轨迹采样，得到行人视频轨迹样本；在视频片段中为每条行人轨迹抽出相同数量的帧，给上相机标签，组成行人视频轨迹；

S3：对行人视频轨迹样本进行预训练，获得行人重识别预训练网络模型；

S4：在行人重识别预训练网络模型中添加全连接层，所述全连接层用于提取每张行人图像的特征，构建视频轨迹特征向量表；

S5：根据行人视频轨迹特征向量表进行轨迹联合学习，得到联合学习损失函数，其包括：

相机内轨迹联合学习，对每张行人图像进行特征学习，获取视频轨迹特征向量表中每张行人图像的特征；根据行人轨迹整合每张行人图像的特征，得到视频轨迹特征向量；根据行人图像的特征和视频轨迹特征向量，得到正样本和负样本，从而得到相机内行人联合学习损失函数；得到所述相机内行人联合学习损失函数的步骤为：

步骤1：通过欧几里得距离计算公式，计算同一个相机内的一张行人图像的特征与同一相机内的其他视频轨迹特征向量的距离，并进行排序；

其中行人图像表示为视频轨迹特征向量表示为则行人图像的特征与视频轨迹特征向量之间的欧几里得距离为：

其中φ(·)是一个特征嵌入模型，表示行人图像的特征，对得到的欧几里得距离进行排序，得到排名列表，排名列表表示为：

行人图像与视频轨迹特征向量具有相同的行人身份，表示与包含该行人图像的视频轨迹特征向量，则在同一相机内排名第一的视频轨迹特征向量与包含相同组成帧的视频轨迹特征向量行人身份相对应，则视频轨迹特征向量为正样本，若与的行人身份不同，则为负样本；

步骤2：通过三元组损失的形式定义相机内轨迹联合损失，并基于稀疏时空轨迹采样，得到正样本对距离和负样本对距离；

所述相机内轨迹联合损失表示为：

其中[·]₊＝max(·,0)，表示从大到小排序；D_r,r是行人图像的特征与视频轨迹特征向量之间的距离，D_r,i是行人图像的特征与排名第一的视频轨迹特征向量之间的距离，D_r,j是行人图像的特征和排名第二的视频轨迹特征向量之间的距离；m表示区分视频轨迹特征向量和其他轨迹的边距；

通过稀疏时空轨迹采样，所述正样本对距离表示为D_r,r，当r≠j时，负样本对距离是相机c中与所有视频轨迹特征向量之间的最小距离；将视频轨迹特征向量拉进到排名第一的视频轨迹特征向量；当r＝j时，负样本对距离是和所有轨迹之间次小的距离；将进一步最小化和不同；

步骤3：通过正样本对距离和负样本对距离，得到相机内行人联合学习损失函数；

相机内行人联合学习损失函数表示为：

其中N_bs表示为小批量次数，k表示一个批量中行人图像的序号；

相机间轨迹联合学习，获取视频轨迹特征向量表中每张行人图像的特征，将相机中一个行人视频轨迹中每张行人图像，与其它相机的每个行人视频轨迹中每张行人图像进行特征相似度计算，按照特征相似度将行人视频轨迹进行排序，并交换计算顺序，交叉验证相似度最高的两个行人视频轨迹的身份，得到相机间联合学习损失函数；得到所述相机间行人联合学习损失函数的步骤为：

步骤1：选取相机p的视频轨迹特征向量以及相机q的所有视频轨迹特征向量；

步骤2：通过欧几里得距离计算公式，计算视频轨迹特征向量与相机q的所有视频轨迹特征向量之间的距离，并进行排序；

视频轨迹特征向量与相机q的所有视频轨迹特征向量之间的距离表示为：

其中φ(·)是一个特征嵌入模型，对得到的欧几里得距离进行排序，得到排名列表，排名列表表示为：

排名第一的视频轨迹特征向量表示为

步骤3：将相机q中排名第一的视频轨迹特征向量作为候选匹配的视频轨迹特征向量；通过欧几里得距离计算公式，计算视频轨迹特征向量与相机p的所有视频轨迹特征向量之间的距离，并进行排序；

视频轨迹特征向量与相机p的所有视频轨迹特征向量之间的距离表示为：

其中φ(·)是一个特征嵌入模型，对得到的欧几里得距离进行排序，得到排名列表，排名列表表示为：

步骤4：将两次排序的结果，进行对齐操作，则对齐操作的结果表示为：

其中表示是相匹配的轨迹，表示不相匹配；此外，通过阈值过滤策略，要求它们的余弦相似度大于阈值λ；其他相机中所有视频轨迹特征向量相对于视频轨迹特征向量的权重可定义，即置信系数，置信系数表示为：

将所有其他相机的轨迹定义成潜在正轨迹集则潜在正轨迹集表示为：

视频轨迹特征向量为来自其他相机的潜在正轨迹；

步骤5：通过稀疏时空轨迹采样和伪标签，为分配一个伪标签为随机分配一个伪标签为的潜在正轨迹；通过softmax函数为属于相机q中视频轨迹特征向量的视频轨迹中的帧生成置信度分数：

其中a_q表示相机q中的所有视频轨迹特征向量，

步骤6：通过置信系数和置信度分数，计算相机内轨迹联合损失，则所述相机间轨迹联合损失表示为：

由于潜在正轨迹集中的所有视频轨迹特征向量都是的潜在正轨迹，则视频轨迹特征向量的损失表示为：

则所述相机间行人联合学习损失函数表示为：

其中N_bs表示为小批量次数，k表示一个批量中行人图像的序号；

S6：更新视频轨迹特征向量表；

S7：模型训练，基于行人视频轨迹特征向量表建立无监督视频轨迹特征向量关联学习行人重识别模型；在行人视频轨迹样本上训练无监督视频轨迹特征向量关联学习行人重识别模型；优化模型；

S8：进行无监督测试，通过对相机内和相机间行人视频轨迹的联合学习，挖掘行人轨迹潜在关系；通过评估策略，评估无监督视频轨迹特征向量关联学习行人重识别模型的性能。