[发明专利]一种融合多层语义信息的孪生交叉目标跟踪方法

权利要求书

1.一种融合多层语义信息的孪生交叉目标跟踪方法，其特征在于，包括以下步骤：

S1：基于孪生神经网络构建孪生跟踪模型，并对孪生跟踪模型进行训练；

S2：获取跟踪目标的视频帧序列，将视频帧序列的首帧作为模板帧，后续帧作为搜索帧；

S3：将跟踪目标的模板帧和搜索帧输入经过训练的孪生跟踪模型中；

所述孪生跟踪模型通过孪生主干网络并行连接不同层次的语义信息；然后通过孪生区域推荐交互网络获取对应的分类图和回归图，并通过并行交叉注意机制融合不同分支间的互监督信息；最后通过自适应可形变卷积模块提供全局的目标描述辅助，并生成对应的分类得分图和回归得分图；

S4：基于跟踪目标的分类得分图定位中心位置，并根据回归得分图生成位置描述。

2.如权利要求1所述的融合多层语义信息的孪生交叉目标跟踪方法，其特征在于：步骤S3中，孪生主干网络从模板帧和搜索帧中提取对应的模板帧特征和搜索帧特征；然后对模板帧特征和搜索帧特征进行互相关操作计算，生成对应的分类特征图和回归特征图。

3.如权利要求2所述的融合多层语义信息的孪生交叉目标跟踪方法，其特征在于，步骤S3中，通过如下步骤生成分类得分图和回归得分图：

S301：通过通道注意力模块强化分类特征图的语义通道信息，生成分类注意力特征图；

S302：通过空间注意力模块强化回归特征图的空间维度信息，生成回归注意力特征图；

S303：将分类注意力特征图和回归注意力特征图进行交互融合，生成更鲁棒的回归特征；然后将更鲁棒的回归特征输入自适应可形变卷积模块中降低背景语义信息，生成对应的自适应回归特征；

S304：将更鲁棒的回归特征经过回归头，生成对应的回归得分图；

S305：将分类注意力特征图经过分类头，并与自适应回归特征融合，生成对应的分类得分图。

4.如权利要求3所述的融合多层语义信息的孪生交叉目标跟踪方法，其特征在于：通道注意力模块包括并行的平均池化层和最大池化层，具有隐藏层的共享多层感知器，以及用于将输出的特征值映射到区间(0，1)中的Sigmoid函数。

5.如权利要求3所述的融合多层语义信息的孪生交叉目标跟踪方法，其特征在于：空间注意力模块包括并行的平均池化层和最大池化层，用于学习不同维度空间信息的并行的四个单层感知器，以及用于将输出的特征值映射到区间(0,1)中的Sigmoid函数。

6.如权利要求1所述的融合多层语义信息的孪生交叉目标跟踪方法，其特征在于：自适应可形变卷积模块包括可形变卷积层和1×1卷积层。

7.如权利要求1所述的融合多层语义信息的孪生交叉目标跟踪方法，其特征在于：步骤S1中，通过如下步骤训练孪生跟踪模型：

S101：将训练数据视频集分为训练模板帧和训练搜索帧；

S102：将训练模板帧和训练搜索帧输入孪生跟踪模型中；然后使用随机梯度下降法迭代优化孪生跟踪模型，并通过三元损失将孪生跟踪模型的参数进行梯度反方向更新；

S103：根据指定的训练帧对数和迭代次数重复步骤S101至S103，直至训练完成。

8.如权利要求7所述的融合多层语义信息的孪生交叉目标跟踪方法，其特征在于，三元损失的计算公式如下：

式中：L_cls和L_reg表示孪生跟踪模型的分类损失函数，分别代表基于常规规则区域特征和可形变卷积特征的二值交叉嫡损失；p_i,j和q_i,j分别表示位置(i,j)对应于常规规则区域特征和可形变卷积特征的分类得分值；和分别表示p_i,j和q_i,j对应的真值标签；L_reg表示边界框的IoU损失；t_i,j表示孪生跟踪模型预测的回归距离向量；λ₁＝λ₂＝λ₃＝1。