[发明专利]一种利用时序信息的目标跟踪方法

权利要求书

1.一种利用时序信息的目标跟踪方法，其特征在于，该方法包括以下步骤：

1)使用两个结构相同、参数共享的深度残差网络f_t(·)与f_s(·)，分别提取标注有跟踪目标边界框的第一帧t的特征F_t＝f_t(t)和任意待找出跟踪目标的搜索帧s的特征F_s＝f_s(s)，其中，分别在f_t(·)与f_s(·)的第三、第四、第五个网络区块中加入非对称卷积模块；

2)采用非对称卷积模块进行非对称卷积是除传统的k×k卷积核进行的卷积操作外，加上1×k卷积核与k×1卷积核进行的卷积，将3种卷积结果进行融合，获得非对称卷积的结果；非对称卷积在训练阶段与推理阶段的融合存在不同，在训练阶段，先进行三种不同的卷积操作，再将卷积结果进行点对点相加，获得非对称卷积的结果，其中训练阶段指通过优化损失函数，不断学习更新网络参数的阶段；

3)在推理阶段，先将训练阶段获得的3种不同的卷积核进行融合，获得一个k×k卷积核，进行普通的k×k卷积，完成推理阶段的非对称卷积，具体为将1×k卷积核与k×1卷积核以“十字交叉”的方式与k×k卷积核进行点对点相加，其中推理阶段指网络实际使用阶段，网络不再进行优化，通过输入得到输出的阶段；

之所以在推理阶段先卷积核融合再进行卷积，是因为这样做的结果与训练阶段的先卷积再融合的结果相同，而且可以减少推理阶段的计算量，只需要进行一次卷积操作就可以获得融合后的结果；

4)获得F_t后，根据t所标注的跟踪目标信息，使用感兴趣区域一致划分ROIAlign，将F_t中的跟踪目标特征F_tR提取出来，将F_tR与F_s进行卷积相关运算，获得相关性特征将此相关性特征送入区域候选网络，获得一系列候选区域；

进行卷积相关运算的具体步骤表达如下：

其中f_s1(·)与f_t1(·)是两个分别用于对F_s与F_tR进行特征映射的卷积层，代表卷积运算，f_out1(·)是一个用于调整f_s1(F_s)与f_t1(F_tR)通道的卷积层；

5)区域候选网络将通过一系列卷积操作后获得一系列候选框的置信度与位置大小，设置k类候选框，通过尺度为[w,h,c₁]的得到w×h×k个候选框的结果，网络输出[w,h,k]的置信度与[w,h,4k]的候选框状态信息；

在实际训练区域候选网络时，由于区域候选网络有两个输出，所以所述区域候选网络的损失包括两个部分：候选框分类损失与候选框回归损失

其中，λ用于损失平衡，使用交叉熵损失，使用SmoothL1 Loss；

6)获得候选框后，按照每个候选框所对应区域，使用感兴趣区域一致划分ROI Align将不同区域的F_s提取出来，获得一组候选框区域特征F_sR，将每一个F_sR与F_tR进行哈达玛Hadamard相关运算，获得的候选框相关性特征进行哈达玛Hadamard相关运算的具体步骤表达如下：

其中f_s2(·)与f_t2(·)是两个分别用于对F_sR与F_tR进行特征映射的卷积层，⊙代表哈达玛Hadamard积，f_out2(·)是一个用于调整f_s2(F_s)与f_t2(F_tR)通道的卷积层；

7)将送入双径候选框分类回归网络，所述双径候选框分类回归网络共分为两条支路，回归支路用于回归候选框结果，得到结果框；分类支路用于对候选框进行分类，得到结果框的置信度信息；在回归支路将送入到卷积网络中，获得回归特征，通过平均池化将其变为1维向量后，再通过全连接层回归获得结果框；在分类支路将拉直后送入到全连接网络获得分类特征，再通过全连接层获得分类结果框的分类结果，也就是其置信度；

在训练双径候选框分类回归网络时，由于通过每个都会得到一组结果框与置信度，所以双径候选框分类回归网络的损失为：

其中λ′用于损失平衡，使用交叉熵损失，使用SmoothL1 Loss；

8)双径候选框分类回归网络输出当前帧的一系列跟踪结果框以及置信度，结合之前帧的检测结果，通过后处理选出当前搜索帧最终的跟踪目标边界框；由于一个视频中的被跟踪物体，其形态大小与位置不会产生突变，为了能利用到之前帧的定位信息同时不使得错误过度累积，采用后处理方式使得目标可能的位置的置信度与前一帧的信息有关，通过将置信度与距离交并比DIoU相结合，来利用之前的结果信息；

利用前一帧最终结果框的信息，更新当前一系列结果框的置信度，更新方式用公式描述如下：

其中代表当前第f帧第i个输出框的置信度，代表更新后的值，DIoU(·)用于计算当前第f帧第i个输出框与上一帧最终确定的结果框的DIoU值，DIoU值表示两个框的相似程度；α和γ用于平衡置信度与DIoU值，β与δ用于对置信度与DIoU这两个绝对值不超过1的值进行重新投影，进而减少错误累积；

将当前第f帧的输出框的置信度都完成更新后，以更新后的置信度最高的框作为当前第f帧的跟踪目标结果框。

2.根据权利要求1所述的利用时序信息的目标跟踪方法，其特征在于，所述α＝1，β＝2.25，γ＝1.2，δ＝1。