[发明专利]一种融合孪生网络与相关滤波的目标跟踪方法

权利要求书

1.一种融合孪生网络与相关滤波的目标跟踪方法，其特征在于，包括如下步骤：

步骤一、利用ResNet50网络提取图像特征；

步骤二、通过注意力机制，将不同网络层次的特征进行融合，得到融合边缘与语义特性的判别性特征；

步骤三、将自适应尺度与学习速率调整的背景感知相关滤波模型引入网络结构，设计更新策略，实现对目标模板信息进行有效更新。

2.如权利要求1所述的一种融合孪生网络与相关滤波的目标跟踪方法，其特征在于：所述步骤一、利用ResNet50网络提取图像特征的具体过程是:

S201、输入图像经过7*7卷积层，步长为2，生成64通道图像；

S202、进行归一化及步长为2的池化处理；

S203、依次传入4个Bottleneck子网络，输出图像大小逐层递减至原始参数的1/32，通道数为2048；

S204、通过全连接层设计得到预期维度的目标特征。

3.如权利要求1所述的一种融合孪生网络与相关滤波的目标跟踪方法，其特征在于：所述注意力机制包括通道注意力模块、空间注意力模块以及交叉注意力模块。

4.如权利要求3所述的一种融合孪生网络与相关滤波的目标跟踪方法，其特征在于：所述通道注意力模块的处理过程是：

首先，利用全局平均池化操作对目标特征图进行处理，将大小为w×h×n的特征图转换成大小为1×1×n的向量b_k，即

其中，k为向量个数，k＝1,2,3...n表示特征图通道数量，向量b_k中各元素值为每个通道内特征值的平均和，n为特征图通道数量个数；

其次，将向量b_k作为全连接层的输入，利用激活函数ReLU进行激活操作，为将通道权重参数归一化；

再次，连接全连接层并用激活函数sigmoid进行处理，使得通道权重位于[0，1]，通过网络迭代训练得到通道权重系数ε，其中单个元素计算方式ε_k如下：

其中，σ_i和σ_j分别表示网络权重，对其赋予随机初始值；

最后，将单个元素权重系数ε_k与目标特征图单个通道进行点乘运算，获取通道注意力模块优化的特征图：

其中，·表示点乘。

5.如权利要求3所述的一种融合孪生网络与相关滤波的目标跟踪方法，其特征在于：所述空间注意力模块的处理过程是：

首先，以目标特征图作为输入，利用1×1尺寸卷积核对输入特征进行降维操作；

其次，利用不同残差块对降维特征进行优化：

其中，μ₁、μ₂、μ₃表示不同的卷积核，卷积核大小依次为3×3，3×3，5×5，残差块包括残差块1特征c₁，残差块2特征c₂，残差块3特征c₃；

再次，将残差块2特征c₂进行转置操作，同时与残差块1特征c₁进行点乘操作，利用softmax激活函数对相似结果进行归一化处理获得大小与特征图等同的空间注意力图；其中，i和j均取不同数值，同时a和b均取不同数值，其元素值表示特征图中不同位置的重要性程度，即

其中，T表示特征图的转置操作，Y_i,j表示特征图中第i个与第j个位置的相关性；

最后，将空间注意力图Y_i,j与残差块3特征c₃进行点乘操作，获取经空间注意力机制优化后的目标特征图，即