[发明专利]基于在线多特征选择的通道注意力目标跟踪方法

权利要求书

1.一种基于在线多特征选择的通道注意力目标跟踪方法，其特征在于，包括如下步骤：

步骤1，整体网络模型的构建：首先构建主干网络模型，所述主干网络模型包括两个分支，分别为检测分支和模板分支，每个分支包含三个支流，每个支流由多个CSR单元堆叠形成，用于输出不同深度的特征；然后利用特征动态选择机制对不同深度的特征进行选择，最后利用区域建议网络实现互相关操作，得到响应图；

三个支流中的每个支流均包含1个卷积层和1个池化层以及多个CSR单元，1个CSR单元包括1×1、3×3和1×1的卷积层；

步骤1中1个CSR单元对输入特征进行处理的具体过程如下，

输入特征通过卷积获得带有填充的特征图U，H’、W’、C分别代表输入特征的高，宽和通道数，通过对U执行挤压操作以获取具有全局信息的向量：

其中，u_c是U的第c个通道，H，W是特征图U的高和宽，i和j代表特征高和宽的第i和j个像素；

然后进行释放操作；

δ是ReLU函数，W_权是网络模型权重，W₁和W₂是子权重，它们的作用是对特征进行缩放，首先利用W₁将特征尺寸减小为输入的1/r，r是缩减比率，然后通过ReLU并通过全连接层利用W₂返回到原始尺寸；

选择Sigmoid激活函数以获得标准化权重，最后进行缩放操作以对每个通道加权标准化权重：

其中的是比例特征图，Scale是指和U之间的通道方向乘法；

最后对进行自剪裁操作，获得输出特征

步骤2，选取若干组模板帧和检测帧训练样本对步骤1构建的整体网络模型中进行训练，获得整体网络模型权重W_权；

步骤3，将待检测的模板帧和检测帧喂入训练好的主干网络模型，实现不同深度的特征提取，每个支流分别输出1个特征；

步骤3，使用训练后得到的整体模型权重W_权计算每个支流的回归损失，并利用特征动态选择机制计算得出三个支流中哪个支流输出的特征是当前跟踪帧下的最优选择；

利用特征动态选择机制对不同深度的特征进行选择的具体实现方式如下，

其中，是主干网络模型中支流j的回归损失，S用于计算目标和搜索区域之间的相对大小关系，是主干网络模型中第j个支流，ζ_reg指区域建议网络中的回归分支，特征动态选择机制的目标函数设计为，

于是，特征动态选择机制通过最小化以上目标函数来在线训练；

步骤4，利用步骤3选出的一组最优特征图，即响应图，预测目标的位置与尺度信息；

步骤5，输出每一帧图像的目标位置信息即完成跟踪。

2.如权利要求1所述的一种基于在线多特征选择的通道注意力目标跟踪方法，其特征在于：整体网络模型的损失函数概括为，

其中(x_i,z_i)是第i组训练样本，l_i是对应的标签，是主干网络模型中第j个支流，n是视频序列的帧数，m是主干网络支流的个数，W_权是网络模型权重，ζ是区域建议网络，区域建议网络对主干网络模型输出的结果进行加权互相关操作，区域建议网络由分类分支和回归分支组成，其中，分类分支负责计算目标的粗略位置，而回归分支负责微调目标的粗略位置。

3.如权利要求1所述的一种基于在线多特征选择的通道注意力目标跟踪方法，其特征在于：主干网络模型中三个支流的网络结构如下，

第一支流，包括依次连接的1个卷积层、1个池化层，1个卷积核个数分别为64、64和256的CSR单元，以及4个卷积核个数分别为128、128和512的CSR单元；

第二支流，包括依次连接的1个卷积层、1个池化层，2个卷积核个数分别为64、64和256的CSR单元，以及4个卷积核个数分别为128、128和512的CSR单元；

第三支流，包括依次连接的1个卷积层、1个池化层，3个卷积核个数分别为64、64和256的CSR单元，以及4个卷积核个数分别为128、128和512的CSR单元；

其中，卷积层中卷积核的大小为7×7，个数为64，步长为2，池化层采用2×2的最大池化，步长2。