[发明专利]复杂地下空间轨迹融合的视频人员重识别方法

权利要求书

1.复杂地下空间轨迹融合的视频人员重识别方法，其特征在于：所述方法包括如下步骤：

步骤1，建立轨迹融合数据集MARS_traj，其中包括人员身份数据以及视频序列，并对MARS_traj上的每个人员添加时间帧数和空间坐标坐标信息，MARS_traj中测试集包括检索数据集query和候选数据集gallery；

步骤2，对检索数据集query中的检索视频是否含有遮挡图像进行判断，将含有遮挡的图像序列输入轨迹预测模型进行未来轨迹预测，得到包含预测轨迹的预测集query_pred；而判断未含有遮挡的图像序列则不进行轨迹预测，直接转到步骤4进行融合特征提取；

步骤3，将得到的query_pred与候选数据集gallery中的候选视频进行时空轨迹融合，获取新的融合视频集query_TP；

步骤4，对query_TP采用视频重识别模型提取含有表观视觉信息与运动轨迹信息的时空轨迹融合特征，并进行特征距离度量和候选视频排序，获取最终重识别性能评价指标mAP与Rank-k，其中mAP表示平均精度均值(meanAverage Precision)，Rank-k表示CMC曲线在已排序gallery中前k个视频中匹配正确的可能性，CMC曲线(Cumulative MatchCharacteristic)反映出算法的检索精度累计匹配特征；并将Rank-1结果作为视频重识别结果。

2.根据权利要求1所述的复杂地下空间轨迹融合的视频人员重识别方法，其特征在于：步骤2中，未来轨迹预测基于利于历史轨迹，通过Social GAN模型实现，属于已知人员的历史轨迹坐标，得到预测轨迹坐标。

3.根据权利要求1所述的复杂地下空间轨迹融合的视频人员重识别方法，其特征在于：步骤3中，时空轨迹融合特征中，时间轨迹融合为，考虑预测轨迹与已知历史轨迹在时间上的连续性，在时间域上计算时间融合损失如公式(1)所示：

其中，Δt为query中视频序列最终帧与gallery中视频序列第一帧的帧数差，帧数常量阈值T和较大常量φ决定了query和gallery间帧差Δt的时序连续性。

4.根据权利要求1所述的复杂地下空间轨迹融合的视频人员重识别方法，其特征在于：步骤3中，时空轨迹融合特征中，空间轨迹融合为，考虑预测轨迹与gallery中候选视频的帧数出现错位的情况，计算空间融合损失

N＝2,3,…,7, (2)

其中，p_i表示预测轨迹序列与gallery候选序列对应坐标的欧式距离；N表示允许预测轨迹与候选视频帧数的偏离范围。

5.根据权利要求1所述的复杂地下空间轨迹融合的视频人员重识别方法，其特征在于：步骤3中，得到时间融合损失和空间融合损失后，根据公式(3)计算gallery中第j个视频与query_pred中第i个视频的时间域和空间域的限定融合损失

其中N₂为gallery中视频序列总个数，根据公式(3)求出使最小的j值，从而将gallery中第j个视频送入query_TP集，进行后续的时空轨迹融合特征提取。

6.根据权利要求1所述的复杂地下空间轨迹融合的视频人员重识别方法，其特征在于：步骤4中，将经过时间和空间轨迹融合后提取出的新的查询集query_TP与候选集gallery送入时序互补网络TCLNet，最后利用时序平均池化聚合小组特征，获取最终融合视频特征向量；时序互补网络TCLNet以ResNet-50网络作为骨干网络，在其中插入时序显著性增强模块TSB和时序显著性擦除模块TSE；对于T帧连续视频，插入TSB的骨干网络对每一帧提取特征，标记为F＝{F₁,F₂,…,F_T}，然后将其等量分为k组，每组含有N帧连续帧特征C_k＝{F_(k-1)N+1,…,F_kN}，将每组输入TSE，利用公式(4)提取互补特征：

c_k＝TSE(F_(k-1)N+1,…,F_kN)＝TSE(C_k) (4)

利用余弦相似度计算query_TP中视频特征向量A(x₁,y₁)与候选集gallery中视频特征向量B(x₂,y₂)的距离度量，如公式(5)所示：

根据该距离度量对gallery中视频进行排序，根据排序结果计算重识别评价指标mAP与Rank-k，并将Rank-1结果作为视频重识别结果。