[发明专利]一种基于局部注意力机制的3D-ReID多目标追踪方法

权利要求书

1.一种基于局部注意力机制的3D-ReID多目标追踪方法，其特征在于所述方法包括如下步骤：

1)点云预处理：由于点云具有无序的性质，无法直接输到卷积网络里进行处理，需要对点云进行预处理，采用了体素或pillar的预处理方式，经体素或pillar编码后，点云具有了规整的结构，输入到卷积神经网络中进行特征提取，其中体素化方式是在点云的3D空间中划分网格对点进行量化，pillar方式是将点云划分成柱状体形式；

2)点云主干网络特征提取：经过预处理后的点云使用标准的3D卷积或point方式的网络进行处理，得到相应形式的featuremap，将3D形式的featuremap经变换得到2D形式的featuremap，之后使用2D卷积网络进行不同层次特征的处理和拼接，送入后面的多分支任务head中；

3)局部ReID特征提取分支：ReID特征提取分支基于detection预测得到物体BEV形式的Bbox生成l×l大小的采样网格点，之后基于采样网格点在C×C×WReID特征图上进行双线性插值采样，得到物体的局部ReID特征：

其中γ是双线性插值采样的系数，f(i.j)是BEV形式的ReID特征图的具体特征值，在局部采样得到的特征图上应用通道注意力和空间注意力机制后得到每个物体的局部关键ReID特征值，之后经全连接层得到最终物体的ReID特征；

4)多任务学习：经过主干网络对点云的处理后，便得到不同层次的特征图，对于多目标追踪任务，需要进行物体的定位，分类和ReID特征提取，需要进行多分支head的构建，对于定位和分类采用常规的卷积方法进行位置回归和二分类，对于局部点云ReID特征提取分支，采用表征学习和度量学习的方法进行训练，对于表征学习，直接利用CNN网络进行特征的自动提取，代替手动提取特征，在MOT任务中，将ReID特征提取视作分类任务，将不同的车或者行人视作不同的类别，直接根据id标号进行网络的约束，采用了softmaxloss进行点云ReID特征提取；而度量学习是直接从网络提取的同一物体的ReID特征在高维空间中的向量距离经训练变近，不同物体间的向量距离变远，采用了Npairloss进行点云ReID特征提取：

其中K是anchor的数目，是特征间的余弦距离，是anchor特征，是负样本的特征，是正样本的特征，由于ReID特征在高维空间中根据相似性距离进行区分，使用了ReID特征进行增强分类任务，将与中心ReID特征相似距离较远的物体进行了滤除；

5)数据关联和运动预测：数据关联根据多种相似性矩阵：IOU相似性矩阵，特征相似性矩阵和分类矩阵进行前后帧物体的数据关联，通过分类矩阵约束仅同类物体可以被关联，经过特征相似性和IOU矩阵实进行权值分配，使用匈牙利算法进行准确的前后帧预测框和检测框的数据关联，实现了对同一物体的跨帧追踪，运动预测则根据过去帧物体的运动状态对当前帧物体的运动状态进行预测。