[发明专利]基于运动行为模式的多视角室内行人跟踪方法

权利要求书

1.一种基于运动行为模式的多视角室内行人跟踪方法，其特征在于，所述方法包括利用状态空间模型对目标运动状态进行预测的过程和利用观测模型对预测的运动状态进行观测、获得跟踪结果的过程；

所述利用状态空间模型对目标运动状态进行预测的过程包括：

计算t时刻测试视频帧中目标所受的合力：利用根据测试视频帧的前一视频帧所跟踪到的目标在跟踪场景网格坐标中的位置(x_t，y_t)计算目标与目的地间的驱动力F^inner、目标与其他行人间的作用力F^soc及目标与障碍物间的作用力F^phys，计算测试视频帧中目标所受的合力F为：F＝F^inner+F^soc+F^phys；x_t为目标在网格坐标中的x坐标，y_t为目标在网格坐标中的y坐标，跟踪场景网格坐标是对跟踪场景的俯视场景形成的XY平面进行网格划分后的坐标；

计算t时刻测试视频帧中目标的概率力：在网格坐标中，以目标位置(x_t，y_t)所在的网格为目标网格，计算网格坐标中其他网格对目标网格所产生的概率力FP：FP＝{FP¹,...,FP^*,...,FP^p}；其中，FP^*＝F·P^*，P^*为跟踪场景各摄像头中其他目标区域根据网格坐标与视频图像像素点坐标间的对应关系对应到网格坐标后第*个网格内包含的其他目标区域面积占该网格面积的比例，P^*＞0，*＝1,2,...,p，p为具有其他目标区域的网格数量；

根据目标的概率力对下一时刻的目标运动状态进行预测：将目标抽象为粒子，t时刻粒子状态定义为分别表示t时刻目标在网格坐标x坐标轴方向的速度和y坐标轴方向的速度，则t+1时刻粒子状态t+1t+1xy预测为：$x_{t+1}=x_t+\mathrm{\Δt}\·v_{x_t},y_{t+1}=y_t+\mathrm{\Δt}\·v_{y_t},$$v_{x_{t+1}}=x_t+v_{x_t}\mathrm{\Δt}+\frac{1}{2}\frac{{\mathrm{FP}}_x}{m}{\mathrm{\Δt}}^2,$$v_{y_{t+1}}=y_t+v_{y_t}\mathrm{\Δt}+\frac{1}{2}\frac{{\mathrm{FP}}_y}{m}\mathrm{\Δ}{t}^2,$从而获得t+1时刻目标在网格坐标下的p个预测位置；其中，x_t+1、y_t+1分别为预测的t+1时刻目标在网格坐标中的x坐标和y坐标，分别表示预测的t+1时刻目标在网格坐标x坐标轴方向的速度和y坐标轴方向的速度，Δt为t+1时刻和t时刻的时间差，FP_x、FP_y分别为目标的概率力FP在网格坐标x坐标轴方向上的分力和在y坐标轴方向上的分力，m表示目标的质量，为设定常数；

利用观测模型对预测的运动状态进行观测、获得跟踪结果的过程包括：

根据网格坐标与视频图像像素点坐标间的对应关系，获得预测位置在跟踪场景内每个摄像头的视频图像帧中的像素点位置，以像素点位置为中心、形成宽为w、高为h的矩形区域作为测试区域，每个预测位置对应多个测试区域；

对每个预测位置的每个测试区域，随机采样相等大小的测试图像块，对每个测试图形块分别提取超像素特征和LBP特征，获得测试图像块的超像素特征向量和LBP特征向量；

根据公式计算每个测试图像块的特征向量与特征模板的字典中同特征类型的每个关键字的相似度，将相似度最大的关键字确定为测试图像块最为相似的关键字；其中，simⁿ表示测试图像块n的特征向量与字典中的关键字m的相似度，n＝1,…,N，N为测试图像块的数量，m＝1,…,cl_num，cl_num为字典的大小，S_n表示测试图像块n的特征向量，C_m表示字典中关键字m的特征向量，d[S_n,C_m]表示两个特征向量S_n和C_m的相交距离；

计算每个关键字作为测试图像块最为相似的关键字出现的频率，得到关键字与作为测试图像块最为相似的关键字出现的频率形成的测试频率直方图；

根据公式计算测试频率直方图与特征模板中的训练频率直方图的相似性，作为每个测试区域的权值，分别获得与超像素特征对应的第一权值w_superpixel和与LBP特征对应的第二权值w_LBP；其中，B_m表示训练频率直方图，B_T表示某个测试区域对应的测试频率直方图，d_t[B_T,B_m]表示测试频率直方图与训练频率直方图的相交距离；

对每个预测位置，将该预测位置所对应的所有测试区域中每个测试图像块的特征向量与特征模板的字典中同特征类型的每个关键字的相似度的最大值作为该预测位置的似然值，每个预测位置得到与超像素特征对应的第一似然值p_superpixel(Z_t|X_t)和与LBP特征对应的第二似然值p_LBP(Z_t|X_t)；

根据公式p_all(Z_t|X_t)＝a·p_{sup erpixel}(Z_t|X_t)+b·p_LBP(Z_t|X_t)计算每个预测位置的总观测似然值p_all(Z_t|X_t)，并将总观测似然值的最大值所对应的预测位置确定为跟踪位置；其中，allttsup erpixelttLBPttalltt且a+b＝1；

其中，特征模板通过下述过程获得：

将目标已知的每个摄像头拍摄的多帧视频帧作为训练帧，提取每帧训练帧中的目标区域；

根据网格坐标与视频图像像素点坐标间的对应关系，确定不同摄像头中同一目标对应的目标区域，同一目标的所有目标区域形成该目标的训练样本集；

针对每个目标，对训练样本集中的每个训练样本，随机采样相等大小的训练图像块，对每个训练图像块分别提取超像素特征和LBP特征，获得训练图像块的超像素特征向量和LBP特征向量；

对提取的训练图像块的超像素特征向量和LBP特征向量分别聚类，获得多组聚类，每组聚类中心作为字典的关键字、聚类的组数作为字典的大小，分别创建目标的超像素字典和LBP字典；

对提取的相同特征类型的每个特征向量，确定所属字典中与该特征向量距离最小的关键字，计算每个关键字确定为距离最小的关键字出现的频率，得到关键字与确定为距离最小的关键字出现的频率所形成的训练频率直方图，得到超像素训练频率直方图和LBP训练频率直方图；

超像素字典、LBP字典、超像素训练频率直方图和LBP训练频率直方图形成特征模板。