[发明专利]一种融合人脸及人体特征的跨境行人轨迹检测方法

权利要求书

1.一种融合人脸及人体特征的跨境行人轨迹检测方法，其特征在于：所述检测方法包括：

S1、分别对多个摄像机下录制的视频进行多行人/目标追踪，为每个行人/目标生成局部追踪轨迹序列；

S2、对局部追踪轨迹序列中提取出的行人图像进行人体及人脸特征提取；

S3、建立列表以存储每个局部追踪轨迹的时空信息及行人、人脸的均值特征；

S4、根据列表内存储的信息进行全局轨迹匹配；

所述分别对多个摄像机下录制的视频进行多行人/目标追踪，为每个行人/目标生成局部追踪轨迹序列包括：

对M个摄像机进行编号，通过Fair-Mot算法获得图像中目标的检测框位置信息和对应轨迹的轨迹序号；

用T_i表示第i个摄像机下产生的所有轨迹的集合，用一段时间内的轨迹列表来描述于第i个摄像机下获取的任意一条轨迹T_i(v)＝{[b_i(t,id),id]|t∈ε}，其中，ε为时间集合，b_i(t,id)为t时，轨迹序号为id的目标检测框位置信息，id为目标轨迹的轨迹序号；

所述对局部追踪轨迹序列中提取出的行人图像进行人体及人脸特征提取包括：

合并局部轨迹列表，并用符号T＝{T₁,T₂,…,T_M}表示各个摄像机下生成的局部轨迹的集合；

根据轨迹T中的某一帧的目标检测框位置对当前视频帧图像进行裁剪，得到图像P_j，并使用ReID模型对图像P_j进行人体特征提取，并表示为F_j＝E(P_j)；

使用人脸检测模型对图像P_j进行人脸检测，如果检测到对应的人脸图像I_j，则使用人脸识别模型对图像I_j进行特征提取，并表示为G_j＝A(I_j)，如果没有检测到人脸则不进行人脸识别；

所述建立列表以存储每个局部追踪轨迹的时空信息及行人、人脸的均值特征包括：

对于每个轨迹T_i(v)新建对应轨迹序号数量的列表L_id(j)用以存储当前轨迹的当前轨迹序号id；

根据当前轨迹进入时间及消失时间s_j与t_j，行人重识别均值特征F_m(j,t_j)，人脸均值特征G_m(j,t_j)，初始化行人重识别与人脸识别阈值μ、ω，初始化行人重识别置信轨迹序号与人脸识别置信轨迹序号为当前轨迹序号id；

所述行人重识别均值特征表示为F_m(j,t_j)＝σ*F_j+(1-σ)*F_m(j,t_j-1)，其中σ的取值规则为：当cos(F_m(j,t_j),F_j)θ时：σ＝a*(t_j-s_j+1)/(t_j-s_j+2)，当cos(F_m(j,t_j),F_j)θ时：σ＝(1-a)+a*(t_j-s_j+1)/(t_j-s_j+2)，其中，cos(F_m(j,t_j),F_j)表示F_m(j,t_j)和F_j的余弦距离；

所述人脸均值特征表示为其中的取值规则为：当cos(G_m(j,t_j),G_j)θ时：当cos(G_m(j,t_j),G_j)θ时：其中，cos(G_m(j,t_j),G_j)示G_m(j,t_j)与G_j的余弦距离，a为可调整的超参数以适配不同的部署环境。