[发明专利]应用于无人驾驶车辆的实时行人跟踪方法

权利要求书

1.一种应用于无人驾驶车辆的实时行人跟踪方法，其特征在于，该方法包括以下步骤：

步骤1：设计行人检测网络，利用改进的SSD行人检测算法进行行人实时检测：该算法使用单个卷积神经网络，直接从原始图像得到边界框的坐标和行人的概率，具体描述为整个行人检测网络为一个全卷积神经网络，整体依据SSD架构进行，将SSD中的主干网络VGG更换为性能更加强大的残差网络ResNet，再使用SSD方法中的检测部分在多尺度特征图上进行分类和回归，即得到行人的类别概率以及其边界框的坐标描述；

步骤2：定义每个行人的状态变量，X_t的表达式如下：

其中，x,y分别表示对应检测框中心的坐标，γ表示宽高比，h表示检测框的高度，分别表示它们各自的速度，t表示图像的帧数；

取边界框的坐标(x,y,γ,h)作为行人状态的直接观测变量，利用卡尔曼滤波算法和特征点光流法对行人状态进行估计；特征点选用Harris角点，在第t帧图像中对当前已有的N个跟踪目标进行预测时，对t-1帧的N个目标的边界框所对应的图像提取g个特征点的位置loc＝[(x,y)₁,...,(x,y)_g]，对所有的g个特征点运用光流法进行跟踪，求解得到对应特征点在像素级的运动矢量mov，即各个特征点的速度集合，表达式为：

mov＝[(u,ν)₁,...,(u,ν)_g]

其中，g表示在使用光流法时所选取的对应特征点的个数，u,v表示各个特征点在横纵方向上瞬时速度的矢量描述；

计算得到对应特征点在第t帧的位置，表达式如下：

new_loc＝[(x′,y′)₁,...,(x′,y′)_g]

(x′,y′)_i＝(x,y)_i+(u,n)_i,i＝1,...,g

求解出一个变换矩阵来表示光流代表的运动，作为对跟踪目标的下一个边界框进行预测的跟踪框，构造光流特征点在两帧图像之间的运动变换矩阵，表达式如下：

AT＝b

A和b具体形式为：

其中，T为变换矩阵；

利用最小二乘法求得变换矩阵T^*，表达式如下：

T^*＝-(A^TA)^-1A^Tb

计算出变换矩阵之后，对t-1帧中N个跟踪行人检测框的四个顶点进行坐标变换即可得到新的检测框，即为光流法根据底层像素运动对图像中的动态障碍物所做出的运动估计，把该估计信息记做X_op；

在Deep Sort多目标跟踪算法方法中把光流预测出的结果与卡尔曼滤波的结果进行融合，得到卡尔曼滤波融合光流预测出的行人状态，如下式所示：

其中，表示t时刻卡尔曼滤波融合光流预测出的行人状态，表示t时刻卡尔曼滤波预测出的行人状态，X_op表示为光流法根据底层像素运动对图像中的行人运动状态的估计，λ表示卡尔曼滤波增益；

步骤3：计算运动匹配度量，即使用卡尔曼滤波算法估计的状态和新得到的检测行人的状态之间的马氏距离来表示运动匹配度量，其表达式如下：

d⁽¹⁾(i,j)＝(d_j-y_i)^TS_i^-1(d_j-y_i)

其中，S_i表示第i条轨迹由卡尔曼滤波器预测得到的在当前时刻观测空间的协方差矩阵，y_i表示第i条轨迹在当前时刻预测的行人状态，d_j表示第j个检测行人的状态，T表示转置符号；

通过将马氏距离按95％的置信区间的卡方检验中计算，排除不可能的关联；指示函数定义如下：

其中，如果第i条轨道与第j个检测结果之间的关联是可接受的，则其值为1；对于四维测量空间，相应的马氏距离的阈值为t⁽¹⁾＝9.4877；

步骤4：定义外观匹配度量；

对每一个检测框d_j计算一个外观描述子r_j(||r_j||＝1)，并且为每条轨迹保留了最后L_k＝100个相关外观描述子的图库则外观匹配度量表示外观空间中第i条轨迹和第j个检测结果之间的最小余弦距离，表达式如下：

其中，表示检测框d_j的外观描述子向量的转置、表示第i条轨迹中的第k个相关的外观描述子，

同样，定义一个指示函数来指示根据外观匹配度量是否允许关联，表达式如下：

在一个单独的训练数据集上为这个指示函数1找到一个合适的阈值t⁽²⁾；

使用一个预训练的卷积神经网络来计算检测框中行人的外观描述子；将该卷积神经网络在行人重识别数据集上进行训练，同时将行人的图像作为网络的输入，得到图像的描述向量，即该图像中行人的外观描述子；

步骤5：计算总的匹配度量；

使用加权和将运动匹配度量和外观匹配度量结合起来，从而构建组合关联度量c_i,j表达式如下：

c_i,j＝ld⁽¹⁾(i,j)+(1-l)d⁽²⁾(i,j)

其中，通过超参数l控制各度量对组合关联度量的影响，如果组合关联度量c_i,j位于两个度量的选通区域，则作为可接受的，将选通区域表示为：

步骤6：通过总的匹配度量公式得到总的代价矩阵D，再通过级联条件，设定阈值分别对外观和位置因素进行计算，满足条件则返回1，否则返回0， 初始化匹配矩阵为空，初始化未匹配矩阵等于D；通过匈牙利算法，对于每个属于追踪框集合中的元素，在检测框里面查找代价最低且满足阈值过滤条件的检测框作为匹配结果，同时更新匹配矩阵和非匹配矩阵；优先匹配距离当前帧最近的帧中出现的行人作为最优的匹配结果；

步骤7：进行跟踪对象的生存周期管理：

如果有未匹配到的检测框，并且该检测框与所有跟踪对象IoU值都小于某个阈值，且在之后3帧内连续匹配成功，则建立该跟踪对象；如果某个跟踪对象连续30帧内都没有匹配成功，则删除该跟踪对象；匹配成功，则删除该跟踪对象。