[发明专利]应用于无人驾驶车辆的实时行人跟踪方法

说明书

本发明公开了一种应用于无人驾驶车辆的实时行人跟踪方法，步骤1：利用改进的SSD行人检测算法进行行人实时检测；步骤2：在Deep Sort多目标跟踪算法方法中把光流预测结果与卡尔曼滤波结果进行融合，预测行人状态；步骤3：使用卡尔曼滤波算法估计的状态和检测行人的状态之间的马氏距离来表示运动匹配度量；步骤4：使用一个预训练的卷积神经网络来计算检测框中行人的外观描述子；将该卷积神经网络在行人重识别数据集上进行训练，得到图像描述向量；步骤5：计算总的匹配度量；步骤6：引入级联匹配策略，优先匹配距离当前帧最近的帧中出现的行人；步骤7：进行跟踪对象的生存周期管理。本发明实现了为无人驾驶场景提供行人的状态信息。

技术领域

本发明涉及无人驾驶环境感知技术领域，具体涉及一种基于Track-by-Detection策略的融合光流的Deep SORT多目标跟踪算法进行无人驾驶场景下的行人跟踪算法。

背景技术

无人驾驶系统利用感知层实时获取周围环境的信息，其中的故障物信息提供给决策与规划层使用。位于感知层的视觉系统用于检测出无人驾驶车辆当前感知范围内的运动障碍物包括车辆、行人等的位置信息与速度信息，同时，对每个运动障碍物进行唯一的ID标号，预测其运动状态，并确定运动轨迹，从而计算出车辆的可行驶区域。

行人的运动信息对于无人驾驶车辆的安全行驶起着至关重要的作用。基于深度学习的行人检测算法只对单帧图片进行处理，缺乏视频流前后帧中被检测行人的关联信息，在行人被短期遮挡时会丢失信息，这将会给决策和规划层带来极大的风险。因此，目标检测器必须引入基于视觉的多目标跟踪方法，利用视频流的上下文语义，补全目标被短期遮挡时的信息，为感知层提供更为准确的运动障碍物轨迹跟踪和更为鲁棒的运动信息预测。行人跟踪是目标跟踪中研究最多的一部分，由于行人是一个非刚体的目标，而且受外观和遮挡的影响较大，对行人检测与跟踪算法的研究具有很大的挑战性，在实际应用中具有更高的商业价值。

发明内容

针对现有技术的行人检测方法无法提供行人足够的动态信息，以及传统的在线跟踪方法没有充分地利用行人的特征信息等问题，本发明提出一种应用于无人驾驶车辆的实时行人跟踪方法，针对场景采用一种融合光流的Deep SORT行人跟踪算法；在卡尔曼滤波的线性预测部分融合基于光流的目标运动信息，同时，将改进的SSD实时行人检测算法作为Deep SORT模型中的行人检测部分，实现实时地行人跟踪对象的生存周期管理。

本发明的一种应用于无人驾驶车辆的实时行人跟踪方法，该方法包括以下步骤：

步骤1：设计行人检测网络，利用改进的SSD行人检测算法进行行人实时检测：该算法使用单个卷积神经网络，直接从原始图像得到边界框的坐标和行人的概率，具体描述为整个行人检测网络为一个全卷积神经网络，整体依据SSD架构进行，将SSD中的主干网络VGG更换为性能更加强大的残差网络ResNet，再使用SSD方法中的检测部分在多尺度特征图上进行分类和回归，即得到行人的类别概率以及其边界框的坐标描述；

步骤2：定义每个行人的状态变量，X_t的表达式如下：

其中，x,y分别表示对应检测框中心的坐标，γ表示宽高比，h表示检测框的高度，分别表示它们各自的速度，t表示图像的帧数；

取边界框的坐标(x,y,γ,h)作为行人状态的直接观测变量，利用卡尔曼滤波算法和特征点光流法对行人状态进行估计；特征点选用Harris角点，在第t帧图像中对当前已有的N个跟踪目标进行预测时，对t-1帧的N个目标的边界框所对应的图像提取g个特征点的位置loc＝[(x,y)₁,...,(x,y)_g]，对所有的g个特征点运用光流法进行跟踪，求解得到对应特征点在像素级的运动矢量mov，即各个特征点的速度集合，表达式为：

mov＝[(u,ν)₁,...,(u,ν)_g]