[发明专利]一种自动驾驶场景下基于卷积关联网络的行人目标跟踪方法

权利要求书

1.一种自动驾驶场景下基于卷积关联网络的行人目标跟踪方法，其特征在于通过利用卷积关联网络与轻量级目标检测网络共享特征，来捕获目标间的关联性，从而实现目标跟踪，具体包括以下步骤：

A1-1、获取一个一阶段目标检测模型，然后一共经过5次下采样，在最后三个尺度的特征图上进行预测，除了第一次下采样时采用普通卷积模块，后面四次下采样均采用多尺度下采样模块，并将模型在最后三次下采样的特征图上做目标框预测，最终构成轻量级行人目标检测网络；

所述多尺度下采样模块中包含有第一多尺度下采样模块A、第二多尺度下采样模块B；

所述的第一多尺度下采样模块A由卷积核为3×3、步长为2的可分离卷积模块和滑动窗口为3×3、步长为2的最大池化层，再接一个卷积核为1×1、步长为1的可分离卷积模块组成，所述第一多尺度下采样模块A用于第二次下采样，所述的第二多尺度下采样模块B是在第一多尺度下采样模块A的基础上增加了由卷积核为1×1、步长为1的可分离卷积模块，卷积核为3×3、步长为1的可分离卷积模块以及卷积核为3×3、步长为2的可分离卷积模块组成提取的特征，且所述的第二多尺度下采样模块B用于后面三次下采样；

A2-1、按照以下三个步骤预测目标关联矩阵

①将轻量级行人目标检测模型骨干网提取到的三层特征图分别通过一个卷积核为1×1的普通卷积模块进行特征降维；

②在每层特征图上找到目标框对应的特征点，三层特征图上对应的特征点拼接起来作为该目标的特征向量，并将两帧图像中所有目标的特征向量经过特征穷举排列拼接成一个新的混合特征向量；

③将混合特征向量送入映射网络得到一个编码两帧图像中目标表观特征相似性的特征相似矩阵，映射网络由5个卷积核为1×1的普通卷积模块构成，对目标相似矩阵按行或列做softmax函数即可得到目标关联矩阵；

A3-1、然后通过卷积关联网络设计行人目标跟踪策略，最终获得行人关联的目标跟踪结果；

卷积关联网络设计行人目标跟踪策略的具体步骤如下：

A1、将t时刻的图像帧输入轻量级行人目标检测模型，得到目标框B_t与图像特征F_t；

A2、从轻量级行人目标检测模型得到的目标框B_t与图像特征F_t输入卷积关联网络，从中提取当前帧的目标特征

A3、若当前帧为视频的第一帧，初始化历史特征集合F^H与轨迹集合T_t，将当前帧的目标特征加入F^H，为当前帧中的每个目标建立一个轨迹加入T_t，转到步骤A8；若当前帧非视频的第一帧，则将当前帧的目标特征分别与F^H中的所有历史帧目标特征两两配对，由卷积关联网络计算每对图像帧的目标特征相似矩阵由该特征相似矩阵得到每对图像帧的综合预测目标关联矩阵

A4、检查历史帧目标特征集合F^H中的历史帧目标特征数是否达到其能存储的最大数目h：若没有，将当前帧的目标特征加入F^H；若F^H中的历史帧目标特征数已达到h，则移除离当前帧时间最远的那一帧的目标特征，再将当前帧的目标特征加入F^HA；

A5、根据步骤A3中的综合预测目标关联矩阵计算当前帧中的目标与已存在轨迹之间的轨迹关联矩阵

A6、根据步骤A5中得到得轨迹关联矩阵更新当前时刻t已存在的确定轨迹T_t和待定轨迹①若当前帧中的某目标i被分配给确定轨迹更新确定轨迹更新该确定轨迹的未成功关联目标帧数u＝0；若当前帧中的某目标i被分配给待定轨迹更新待定轨迹更新该待定轨迹的成功关联目标帧数c＝c+1；②若当前帧中的某目标未被分配给任何已存在轨迹，则为其建立一个新的轨迹，加入待定轨迹集合设该待定轨迹的成功关联目标帧数c＝1；③若某确定轨迹在当前帧中未找到与之关联的目标，则其更新该确定轨迹的未成功关联目标帧数u＝u+1；若某待定轨迹在当前帧中未找到与之关联的目标，则更新该待定轨迹的成功关联目标帧数c＝0，并从待定轨迹集合中删除该轨迹，该轨迹为待定轨迹集合中未能与当前帧中任一目标关联的轨迹；

A7、检查确定轨迹集合T_t与待定轨迹集合①若确定轨迹集合T_t中某轨迹的未成功关联目标帧数u超过阈值Δw，则认为该目标离开图像，从确定轨迹集合T_t中删除，该轨迹指的是：确定轨迹集合中连续Δw帧没有目标与其关联的轨迹；②若待定轨迹集合某轨迹的成功关联目标帧数c超过阈值Δd，则认为该目标是新进入图像的目标，将该轨迹加入确定轨迹集合T_t，设此确定轨迹的未成功关联目标帧数u＝0，并从待定轨迹集合中删除该轨迹；此时的确定轨迹集合T_t即为t时刻的行人目标跟踪结果；

A8、令t＝t+1，获取下一时刻的图像帧。