[发明专利]一种轻量级视频行人重识别方法

说明书

本发明公开了一种轻量级视频行人重识别方法，属于计算机视觉技术处理技术领域。在搭建模型阶段，使用基于ShuffleNet v2的轻量级算法，同时，利用轻量级空间注意力机制模块处理人物图像细节，最后，通过一个在线差异识别模块来测量视频帧之间的特征差距，并使用该模块对不同质量的视频序列进行不同类型的时间建模。在模型训练阶段，输入行人的视频序列，使用上述搭建好的网络提取它们的特征表示，利用批量难分辨三元组损失和softmax损失共同训练并更新行人特征；在模型测试阶段，使用训练好的轻量级行人搜索模型对输入的目标查询行人，提取行人特征，并在大规模的视频序列中搜索出目标查询行人。本发明可应对大规模的现实场景图象，用于城市监控等安防领域。

技术领域

本发明属于计算机视觉技术处理技术领域，具体涉及目标检索领域技术领域中的一种轻量级视频行人重识别方法。

背景技术

文献由S.Li,et al.,Diversity regularized spatiotemporal attention forvideo-based person re-identification,Proceedings of the IEEE Conference onComputer Vision and Pattern Recognition,2018,pp.369–378重新探讨针对视频行人重识别的时序建模问题。目前视频行人重识主要面临两个挑战：

1)高质量的帧级特征提取器，最终用于检索的行人特征不够具有判别力。

2)有效的时间建模，即时序特征聚合建模的过程，如何将帧级特征组合成用于检索的特征。

3)为了保证针对视频序列的实时性和有效性，需要保证模型足够的高效且简约，达到满足实际应用需求，解决计算资源高消耗等问题。

发明内容

本发明针对视频行人重识别的这些问题，选择高效的轻量级模型算法并嵌入轻量级的空间注意力机制，大大降低了模型的参数和计算量，并保证高质量的特征提取，并设计了在线差异识别模块，针对帧级特征之间的差异，选择针对该行人轨迹帧最合适的时序建模策略。

本方法有效地基于轻量级模型算法并嵌入轻量级的空间注意力机制建立模型。在将帧级特征组合成用于检索的特征时,没有选择单一的时序建模策略，而是根据实际行人轨迹序列的情况，采用对应的时序建模策略：时序注意力机制或时序池化。

为了实现上述技术目的，本发明所采用的技术方案是：

一种轻量级视频行人重识别方法，在模型搭建阶段，使用轻量级算法和轻量级的空间注意力机制SGE模块，并通过一个在线差异识别模块来测量视频帧之间的特征差距，针对帧级特征之间的差异，选择针对该行人轨迹帧最合适的时序建模策略,具体是：通过一个固定长度的队列，储存并更新每一批次中行人轨迹的帧级特征差异值，这是随着模型的训练在线更新的，计算队列中所有特征差异值的平均值U_m作为阈值，当每次前向传播时，计算该组视频序列的帧级特征差异值U_t并将其与阈值进行比较，如果U_tU_m，则表示帧之间的差异很大，选择时序注意力机制模型；如果U_t≤U_m，则表示帧之间的差异很小，选择时序池化；

在训练阶段，首先通过搭建好的模型进行特征提取，得到它的特征表示，利用批量难分辨三元组损失和softmax损失联合优化和更新行人特征,得到训练好的视频行人重识别模型；

在模型测试阶段，使用训练好的视频行人重识别模型对输入的目标行人提取特征，接着对输入的视频序列进行特征提取，从而进行特征相似度匹配排序并检索，找到视频序列中的目标行人。

所述轻量级算法是基于ShuffleNet v2的轻量级算法。

当有的帧存在遮挡、光照问题，则表明帧间特征差异很大。