[发明专利]一种改进的高精度端到端车辆多目标跟踪方法

权利要求书

1.一种改进的高精度端到端车辆多目标跟踪方法，其特征在于，包括：

基于改进的Faster R-CNN模型对车辆进行检测，得到目标检测数据集；将所述目标检测数据集输入到区域生成网络模块中进行相似度学习，得到待匹配的候选目标数据集，最后通过最近邻匹配方法完成所述待匹配的候选目标数据集的匹配；

在所述改进的Faster R-CNN模型中，骨干网络采用resnet50网络结构，用于提取输入图像的卷积特征，得到特征图；

对所述resnet50网络结构中的可变卷积与仅使用键值内容特征的Transformer组合模块进行整合，并应用在所述骨干网络中conv4和conv5矩阵卷积运算中；

对所述可变卷积与仅使用键值内容特征的Transformer组合模块进行整合的过程包括：

以Quasi-Dense作为基线，在所述骨干网络中加入空间注意力机制，基于所述空间注意力机制，计算所述可变卷积和Transformer组合模块的多头注意力特征，在所述可变卷积中调整元素的采样位置，得到每个查询键值对的注意力权重；

所述多头注意力特征的表达式为：

其中，待查元素的索引和内容分别为q和z_q，键值元素的索引和内容分别为k和x_k，m索引注意力头，待查元素相关的键值区域为Ω_q，第m个注意力的权重为A_m(q,k,z_q,x_k)，待学习的权重为W_m和W′_m，M表示注意力头数量，取8；

所述Transformer组合模块将所述多头注意力特征拆分为四个不同的注意力因素，基于所述四个不同的注意力因素的和，计算所述每个查询键值对的注意力权重，其表达式为：

其中，第m个Transformer注意力的权重用表示，注意力因素用ε_j表示，在注意力模块中引入了手动开关，来激活或者关闭四个不同注意力因素的某一项，用来表示，的取值范围为{0,1}；其中，所述四个不同注意力因素包括ε₁：待查询目标的内容特征、键值内容特征；ε₂：待查询目标的内容特征、待查询目标与键值的相对位置；ε₃：键值的内容特征；ε₄：待查询目标与键值的相对位置；将所述目标检测数据集输入到区域生成网络模块中进行相似度学习的过程为：

基于启发式方法在所述区域生成网络模块中设定锚框，得到带有锚框的目标检测数据集，对所述带有锚框的目标检测数据集进行训练，得到关键帧图像和参考帧图像，对所述关键帧图像和所述参考帧图像中的目标进行相似度学习，得到所述待匹配的候选目标数据集；

在所述区域生成网络模块中设定锚框的方法包括：

用四维向量(x,y,w,h)表示目标的位置，空间坐标中心点用(x,y)表示，(w,h)分别表示目标的宽度和高度，待匹配的候选目标数据集图像用I表示，目标的位置分布的公式为：

p(x,y,w,h∣I)＝p(x,y∣I)p(w,h∣x,y,I)；

基于所述目标的位置分布结果，对所述锚框的形状进行预测，对输入的目标数据图像做一个1×1卷积后执行sigmoid函数，得到概率值p(x,y|I)；

得到所述概率值p(x,y|I)后，对所述锚框的宽w‘和高h‘进行预测，其转换公式为：

w‘＝σ·s·e^dw,h‘＝σ·s·e^dh

其中，s表示步长，σ表示经验尺度因子，dw为特征图中每个元素的宽，e^dw表示对dw求以数学常数e为底的指数，dh为特征图中每个元素的高，e^dh为对dh求以数学常数e为底的指数。

2.根据权利要求1所述的改进的高精度端到端车辆多目标跟踪方法，其特征在于，基于双向softmax函数对所述待匹配的候选目标数据集进行匹配，其中，所述双向softmax函数的表达式为：

其中，当前帧中有N个目标，特征用n表示，过去的x'帧中有M‘个候选目标，特征用m‘表示，当前帧中第i'个目标与过去x'帧中第j'个目标的相似度用f(i',j')表示，n_i'表示当前帧中第i'个目标的特征，n_k′表示当前帧中第k′个目标的特征，m‘_j′表示第j′个候选目标的特征，m‘_j′表示第k′个候选目标的特征。