[发明专利]基于跨任务互学习的多目标跟踪方法、终端设备及介质

权利要求书

1.基于跨任务互学习的多目标跟踪方法，其特征在于，包括以下步骤：

S1、读取视频序列的当前帧RGB图像；

S2、利用骨干网络提取当前帧RGB图像的通用特征；

S3、对当前帧RGB图像的通用特征进行特征解耦，得到检测对齐嵌入和重识别对齐嵌入；

S4、根据检测对齐嵌入得到检测基本输出；

S5、利用交叉方向Transformer根据重识别对齐嵌入得到重识别输出；

S6、对检测基本输出和重识别输出进行跨任务交互学习，得到交互后的检测基本输出和重识别输出；

S7、根据交互后的检测基本输出得到当前帧上的目标位置框，并根据中心点位置在交互后的重识别输出上查询出重识别嵌入；

S8、根据重识别嵌入将当前帧与前帧进行帧间关联；

步骤S3包括：

S31、将通用特征送入特征解耦模块，所述特征解耦模块通过加和全局平均池化和全局最大池化作用于通用特征的结果以求得全局表示向量；

S32、将全局表示向量经过两个线性层和非线性激活函数的变换得到两个特征解耦权重；

S33、通过两个特征解耦权重对通用特征分别加权，得到检测对齐嵌入Y_det＝w₁×F₁+F₁和重识别对齐嵌入Y_reid＝w₂×F₂+F₂；

其中，特征解耦模块输入为经由骨干网络得到的基础特征F_base∈R^H×W×C，将其拷贝两份得到两个一样的原始特征F₁∈R^H×W×C和F₂∈R^H×W×C，然后采用特征变换策略得到原始特征的两个针对不同任务的通道加权向量w₁和w₂，其中，H表示特征图高度，W表示特征图宽度，C表示特征图通道数；

步骤S4包括：

根据检测对齐嵌入Y_det，使用三个卷积核为1×1的卷积层，设置卷积核数目分别为1、2、4，依次用于计算中心点位置、水平和竖直方向的偏移量、与目标四个边框的距离，将检测对齐嵌入Y_det分别送入三个卷积层进行计算，得到检测基本输出：中心点预测O_heapmap∈R^H×W×1、偏移量预测O_offset∈R^H×W×2和尺寸预测O_shape∈R^H×W×4；

步骤S5包括：

首先将重识别对齐嵌入拷贝两份，分别记为Y₁和Y₂，对这两个重识别对齐嵌入分别按照行方向和列方向进行拆分，即将输入特征视为H个尺寸为(W×C)的特征图和W个尺寸为(H×C)的特征图；接着，在行方向和列方向上进行全局平均池化，得到行序列f_w∈R^H×C和列序列f_h∈R^W×C，将H和W视为序列长度，C视为特征维度；继而，将两个序列送到两个采用6个编码块的Transformer编码器中，编码后的输出分别为g_w和g_h，尺寸和编码前保持一致；最后，这两个方向特征和原始特征加权相乘，得到M＝Y_reid×g_w×g_h，其是对Y_reid全局感知的结果，最后，M经由卷积层投影，得到重识别输出O_reid；

步骤S6包括：

取O_reid上每个像素的嵌入向量p，通过计算式q＝Concat(TopK(p,k),Mean(p))获得统计向量q，其中TopK表示求最大的k个值，建议k＝31；Mean表示求均值，Concat表示按照通道堆叠，对这个统计向量应用两层线性变换加上非线性激活函数，得到注意力向量a，将每个像素的a组合到一起，得到注意力矩阵A，该矩阵和检测输出加权相乘，得到互学习后的检测输出，即H_shape＝A·O_shape和H_offset＝A·O_offset，将中心点热力图通过Sigmoid函数处理为空间注意力图与重识别输出相乘，得到互学习后的重识别输出，即H_reid＝O_reid·Sigmoid(O_heatmap)。