[发明专利]一种融合人脸及人体特征的跨境行人轨迹检测方法

说明书

本发明涉及一种融合人脸及人体特征的跨境行人轨迹检测方法，所述检测方法包括：S1、分别对多个摄像机下录制的视频进行多行人/目标追踪，为每个行人/目标生成局部追踪轨迹序列；S2、对局部追踪轨迹序列中提取出的行人图像进行人体及人脸特征提取；S3、建立列表以存储每个局部追踪轨迹的时空信息及行人、人脸的均值特征；S4、根据列表内存储的信息进行全局轨迹匹配。本发明的优点在于：在进行局部轨迹间的匹配时，同时使用行人重识别与人脸识别模型提取的特征综合的计算两两轨迹间的距离，以减少对行人重识别模型性能的依赖，能够得到更准确的结果。

技术领域

本发明涉及图像识别处理技术领域，尤其涉及一种融合人脸及人体特征的跨境行人轨迹检测方法。

背景技术

多摄像机多目标追踪技术目的是在给定的连续多个视频中确定追踪行人目标的位置及轨迹，并且在同一视频内保持被追踪目标的身份信息不变，在不同视频间保持被追踪目标身份一致。针对多摄像机目标追踪问题，根据摄像机拍摄区域是否有交叠，其可以被进一步划分无交叠区域多摄像机多目标追踪和有交叠区域多摄像机多目标追踪。对于有交叠区域多摄像机多目标追踪，虽然可以简单的将多个摄像机下的目标投影至同一参考坐标系内进行轨迹的连接，但这对目标定位的准确性与其在参考坐标系下投影的准确性能有一定的要求，且无法追踪只在一个摄像机下出现的目标。无交叠区域多摄像机多目标追踪旨在实现在摄像机间有盲区时如何进行追踪这一问题，传统方法会采取结合行人重识别的方式，通过与之前轨迹段的行人重识别提取的特征做比较进行局部轨迹间的匹配，而这又非常依赖行人重识别方法的性能。

发明内容

本发明的目的在于克服现有技术的缺点，提供了一种融合人脸及人体特征的跨境行人轨迹检测方法，解决了现有检测方法中存在的问题。

本发明的目的通过以下技术方案来实现：一种融合人脸及人体特征的跨境行人轨迹检测方法，所述检测方法包括：

S1、分别对多个摄像机下录制的视频进行多行人/目标追踪，为每个行人/目标生成局部追踪轨迹序列；

S2、对局部追踪轨迹序列中提取出的行人图像进行人体及人脸特征提取；

S3、建立列表以存储每个局部追踪轨迹的时空信息及行人、人脸的均值特征；

S4、根据列表内存储的信息进行全局轨迹匹配。

所述分别对多个摄像机下录制的视频进行多行人/目标追踪，为每个行人/目标生成局部追踪轨迹序列包括：

对M个摄像机进行编号，通过Fair-Mot算法获得图像中目标的检测框位置信息和对应轨迹的轨迹序号；

用T_i表示第i个摄像机下产生的所有轨迹的集合，用一段时间内的轨迹列表来描述于第i 个摄像机下获取的任意一条轨迹T_i(v)＝{[b_i(t，id)，id]|t∈ε}。

所述对局部追踪轨迹序列中提取出的行人图像进行人体及人脸特征提取包括：

合并局部轨迹列表，并用符号T＝{T₁，T₂，...，T_M}表示各个摄像机下生成的局部轨迹的集合；

根据轨迹T中的某一帧的目标检测框位置对当前视频帧图像进行裁剪，得到图像P_j，并使用ReID模型对图像P_j进行人体特征提取，并表示为F_j＝E(P_j)；

使用人脸检测模型对图像P_j进行人脸检测，如果检测到对应的人脸图像I_j，则使用人脸识别模型对图像I_j进行特征提取，并表示为G_j＝A(I_j)，如果没有检测到人脸则不进行人脸识别。