[发明专利]基于孪生网络结构和注意力机制的在线多目标跟踪方法

权利要求书

1.基于孪生网络结构和注意力机制的在线多目标跟踪方法，其特征在于，包括以下步骤：

步骤1：检测和跟踪融合框架的设计过程；对YOLOv3算法与KCF算法进行了改进以及融合：首先，对KCF算法进行改进：丢弃KCF模型的初始化过程和相关向量更新迭代过程；在此基础上，将优化后的KCF模型与YOLOv3算法进行融合：将YOLOv3中的DBL模块作为共用网络(孪生结构)，完成特征的提取，其DBL模块用于KCF前期的特征提取以及检测分支，该检测分支为YOLOv3除去DBL模块后的框架；

步骤2：检测和跟踪融合框架的计算过程如下：

首先，将上一帧所跟踪的目标以及上一帧图像作为输入，通过改进的KCF算法，计算获得每个目标的滤波模板，注意这里每个目标都对应了一个滤波模板；

随后，将上一帧所跟踪到的目标以及当前帧图像作为输入，通过已经计算好滤波模板的KCF算法获取到相应目标在当前帧图像中的边界框Box_t，其为预跟踪过程；在预跟踪的同时，利用检测分支检测当前帧出现的目标Box_d，其为每一帧的检测过程；由于这里出现了两种边界框，因此设计线性回归模块，对Box_t和Box_d结果进行融合获得最新的边界框Box_new：

Box_new＝α×Box_d+β×Box_t，

其中，α和β为平衡参数Box_t、Box_d和Box_new的形式表示为[Top,bottom,left,right]，[Top,left],[bottom,right]分别代表了边界框在图像中左上角和右下角的坐标；

所述Box_d是无序的，而Box_t是有序的，因此，通过图像注意力机制对每个目标独有的辨别信息进行提取，并最终利用图像结构相似性完成目标与估计的关联，包括以下步骤：

步骤21：首先需要完成注意力模板的在线训练；以一个M*M，通道数为{3，C}的卷积核为注意力模板，随后进行全连接，最后完成图像的二分类；主要以N幅图像作为训练样本，其中k幅图像为某一条轨迹的历史观测信息图，为正样本；剩余的N-k幅图像为其他轨迹的历史观测信息图，为负样本；在在线训练的过程中，需要对训练的图像样本统一为W*H的图像；这里需要注意的是每一条轨迹对应了不同的注意力模板；

步骤22：在完成注意力模板的训练后，首先对两个图像样本x，y统一为宽度为W，高度为H的三通道图像，随后进行特征提取获得F_x和F_y，这两个特征都为W*H*C的矩阵，其中，特征提取过程包括注意力模板的卷积、BatchNormal以及Sigmoid；随后，由于图像的高度和宽度是不相等的，因此，通过以下两式获得两个图像的高度和宽度方向的自相关矩阵SCor以及互相关矩阵CCor：

其中，x,y为两个待计算相似程度的样本；SCor_x和SCor_y分别为x,y样本的自相关矩阵，CCor为x,y样本的互相关矩阵，F_x，F_y分别为x,y样本的特征图，分别为F_x，F_y样本的特征图的转置；

步骤23：在完成SCor和CCor的计算后，通过以下方法计算出图像的高度和宽度两个方向的相似度SD_w和SD_h；由于两个方向的计算方式是一样的，因此以SD_w的计算为例进行说明：

1)相似性得分IdxS的计算，在计算得到图像的高度和宽度两个方向的SCor_x、SCor_y和CCor后，使用欧氏距离计算相关指数得分IdxS，其表达公式如下：

其中，ED为欧式距离；

2)通过互均方差CMSE计算出两个方向上的SD_w，如下式所示：

其中，sum为求和操作；

通过上述步骤，同时也可得到SD_h，x,y之间的相似度由图像的高度和宽度两个方向上的相似度的均值SD得到，如下式所示：

通过建立如下公式计算目标与轨迹的相关性得分CS，其范围限制于0到1之间；

其中，SD₁为某一轨迹上的两个最新历史观测信息之间的相似程度；SD₂为检测出的某一目标与SD₁所对应轨迹的最新历史观测信息的相似程度；当SD₁和SD₂越接近时，即目标与轨迹的关联性越强时，CS收敛于1，反之为0；将阈值设定为0.6，当目标与轨迹的之间的CS大于时，其表示目标有可能为相应轨迹的延展，反之目标不可为相应轨迹的延展。

2.根据权利要求1所述的基于孪生网络结构和注意力机制的在线多目标跟踪方法，其特征在于，注意力机制的图像相似性辨别性计算称之为SSC；多目标跟踪策略的设计，其中主要处理三种匹配状态：孤立匹配、竞争匹配和失败匹配，其特征在于，包括以下步骤：

步骤1：当匹配状态为孤立匹配状态时，对目标与相匹配的预跟踪所预判的位置进行线性回归模型以及轨迹延展，并更新注意力模板；

步骤2：当匹配状态为竞争状态时，其竞争状态的目标和轨迹如下两种状态表示：

Com_obj＝{obj,tra₁,tra₂,…,tra_i}，

Com_tra＝{tra,obj₁,obj₂,…,obj_j}，

其中，i,j∈N，obj为通过检测器检测到的目标，以下称为目标；tra为通过跟踪器跟踪到的目标，以下称为轨迹；Com_obj和Com_tra分别表示为多个轨迹与单个目标和多个目标与单个轨迹的竞争状态，以下称为两种竞争状态；

对于两种竞争状态的处理主要利用SSC进行判断，表达为如下两种情况：

CS_obj＝{SSC(obj,tra_m)},m∈[0,i]，

CS_tra＝{SSC(obj_n,tra)},n∈[0,j]，

其中，CS_obj和CS_tra分别代表了两种竞争状态的相关性得分；

当完成计算得到CS后，通过下面两式得到最佳匹配：

其中，argmax表示最大值的索引，即表示目标和轨迹的匹配关系；BestMatch_obj和BestMatch_tra表示为两种竞争情况的最佳匹配；

如果满足上述条件，这轨迹将有相应的目标进行延展，并更新相应的注意力模板；反之，即被判为失败状态；这里匹配失败的轨迹将被归为不活跃轨迹的存储器，并且不再参与当前帧的跟踪计算；

步骤3：对于匹配失败的目标，这些目标将与历史所计算得到的不活跃轨迹利用SSC进行关联；在关联成功后进行轨迹延展以及注意力机制模板的更新，反之如果关联失败，则匹配失败的目标将会初试化出一条新的轨迹；而失败的轨迹依旧会被放入不活跃轨迹的存储器中，如果在不活跃轨迹的存储器中的存放的时间大于了一定帧数，则当为相应目标的最终轨迹，不再参与后续的判断和延展。