[发明专利]一种基于RefineNet神经网络和稀疏光流的目标跟踪方法

摘要

本发明提出一种基于RefineNet神经网络和稀疏光流的目标跟踪方法。该方法不再使用手工特征，或浅层网络输出具有的空间信息的深度特征，亦或深层网络输出具有强判别能力的深度特征，而是改用RefineNet神经网络进行深度特征提取，将浅层网络输出具有的空间信息的深度特征和深层网络输出具有强判别能力的深度特征进行融合，在融合后的深度特征的基础上，进行跟踪目标中心位置的跟踪。而对于目标区域的变化，该方法利用稀疏光流对跟踪目标区域长和宽不同的变化分别进行处理，使得该方法能够应对长宽比变化的目标尺度变化，从而解决了目前目标跟踪算法不能很好地应对长宽比变化的目标尺度变化问题。该方法是一种鲁棒性跟踪算法，能在不同跟踪场景中取得不错的效果。

主权项

1.一种基于RefineNet神经网络和稀疏光流的目标跟踪方法，其特征在于，具体步骤包括：步骤一、对于第一帧图像t＝1，跟踪任务给予的第一帧跟踪目标的中心位置(xt,yt)以及跟踪目标区域大小信息(lt,ht)，对跟踪目标区域进行一定比例的扩大(lp,t,hp,t)＝α(lt,ht)，根据目标中心位置(xt,yt)以及扩大后的跟踪目标区域大小(lp,t,hp,t)在该帧图像中进行采样，得到训练样本；其中xt为跟踪目标中心位置的横坐标，yt为跟踪目标中心位置的纵坐标，lt为原跟踪目标区域的长度，ht为原跟踪目标区域的宽度，α为扩大比率，lp,t为扩大后跟踪目标区域的长度，hp,t为扩大后跟踪目标区域的宽度；步骤二、对于在第一帧图像中采样得到的训练样本T，将其输入到RefineNet神经网络中，提取出RefineNet神经网络中的rmflow_convf_g4_b3_joint_varout层输出的分类特征其中Z_T表示RefineNet神经网络中通道数为256的rmflow_convf_g4_b3_joint_varout层输出的分类特征，表示RefineNet神经网络中的rmflow_convf_g4_b3_joint_varout层输出的分类特征Z_T中第n维特征；步骤三、将训练样本T经过RefineNet神经网络后提取得到的rmflow_convf_g4_b3_joint_varout层输出的分类特征用于相关滤波器参数的计算，其中表示训练样本T输入到RefineNet神经网络后rmflow_convf_g4_b3_joint_varout层输出的分类特征中第i个通道的特征图；步骤四、对于下一帧图像t+1，根据上一帧跟踪目标中心位置(xt,yt)以及扩大后的跟踪目标区域大小(lp,t,hp,t)在该帧图像中进行采样，得到候选区域样本P；步骤五、对于采样得到的候选区域样本P，将其输入到RefineNet神经网络中，提取出RefineNet神经网络中的rmflow_convf_g4_b3_joint_varout层输出的分类特征其中表示候选区域样本P输入到RefineNet神经网络后rmflow_convf_g4_b3_joint_varout层输出的分类特征中第i个通道的特征图；步骤六、将候选区域样本P所对应RefineNet神经网络的rmflow_convf_g4_b3_joint_varout层输出的分类特征用于响应图的计算，最终确定该帧跟踪目标的中心位置(x_t+1,y_t+1)；步骤七、对训练样本T提取稀疏光流特征点其中表示训练样本中所提取到的第i个稀疏光流特征点，表示训练样本中所提取到的第i个稀疏光流特征点的x坐标，表示训练样本中所提取到的第i个稀疏光流特征点的y坐标；步骤八、对候选区域样本P提取稀疏光流特征点其中表示候选区域样本中所提取到的第i个稀疏光流特征点，表示候选区域样本中所提取到的第i个稀疏光流特征点的x坐标，表示候选区域样本中所提取到的第i个稀疏光流特征点的y坐标；步骤九、利用训练样本T的稀疏光流特征点和候选区域样本P的稀疏光流特征点计算得到目标区域相对于上一帧目标区域(l_t,h_t)的x方向的缩放因子σ_x和y方向上的缩放因子σ_y，从而计算得到目标区域大小(l_t+1,h_t+1)；步骤十、在得到跟踪目标的中心位置和区域大小后，不断重复步骤一至步骤九，直到视频结束，完成对跟踪目标的中心位置以及区域大小的跟踪。