[发明专利]一种基于双路孪生网络的视频运动目标跟踪方法及装置

权利要求书

1.一种基于双路孪生网络的视频运动目标跟踪方法，其特征在于，所述方法包括：

分别搭建语义网络和外观网络，组合构成双路孪生网络，利用语义网络提取语义信息，利用外观网络提取外观信息：

提取被跟踪物体的语义信息和外貌信息，得到两个响应图，分别对应于语义支路的输出响应图和外观分支的输出响应图；

利用平均峰值相关能量衡量响应图准确度的指标：

式中，表示语义支路的输出响应图和外观分支的输出响应图中的最大值，表示语义支路的输出响应图和外观分支的输出响应图中的最小值，表示处于语义支路的输出响应图和外观分支的输出响应图中点的响应值，APCE表示平均峰值相关能量；表示求括号内的数组平均值；

对语义支路与外观支路得到的2个特征图按各自的APCE指标进行加权相加，得到最终的响应图：

式中，下标A表示外观分支，下表S表示语义分支，表示外观分支的输出响应图所对应的平均峰值相关能量，表示语义分支的输出响应图所对应的平均峰值相关能量，f表示融合后的最终响应图，和分别表示外观分支与语义分支各自的响应图；

对所述语义网络的网络结构进行调整，并在所述语义网络中内嵌注意力模块；

针对目标长宽比大于1的模板图像，在经过外观网络提取得到最后一层特征图时添加掩模，以提高外观网络提取目标的聚焦能力：

定义目标高度为H，目标宽度为W，当H减W的值在预定范围区间之内，则不添加空间掩模，即采用中间部分全为1的方式；

当H减W的值超出预定范围区间的最大值，则采用图左边的掩模，抑制左右两边的干扰；

当W减H的值超出预定范围区间的最大值，则采用图右边的掩模，抑制上下两边的干扰；

对语义网络和外观网络分别单独训练；

对目标尺度与旋转角度进行混合预测，最终确定被跟踪目标的位置：

枚举多个潜在的旋转角度样本，找到最合适的样本；在当前帧，采用至少P个候选图像块，其中Q个是原始的既不进行尺度缩放又不进行旋转的图像块，有T个是进行尺度缩放的图像块，剩下P-Q-T个是进行角度估计的图像块；其中，；

每一个目标块都存在一个参数对，其中，s表示尺度估计，a表示角度估计；设定当a不等于0的时候s=1，s不等于1的时候a=0；被跟踪的目标根据下式决定：

式中，K=P，表示一共有P个候选图像块；表示被跟踪物体的中心坐标，表示尺度角度估计对，表示第k个候选图像块的最终响应值，表示被跟踪物体中心的横坐标，表示被跟踪物体中心的纵坐标，k表示第k个候选图像块，即候选图像块的索引号。

2.根据权利要求1所述的一种基于双路孪生网络的视频运动目标跟踪方法，其特征在于，对语义网络和外观网络分别单独训练的过程进一步包括：

采用随机梯度下降的优化算法，进行预定次数迭代，网络的损失函数的构成部分为：

式中，v是网络预测的分数，代表当前片区搜索区域与模板图像的相似度，y是预先定义的标签，，1表示当前片区与目标是相似的，反之-1表示不相似；搜索图像上不同的候选区域构成一张分数图，D表示分数图的总区域值，表示在预定位置的损失函数，定义各子网络模型的总体损失函数为每个子区域的局部损失均值：

式中，表示总体的损失函数，即包含了全部子区域的总体损失函数，u表示子区域，表示定义的标签中的u位置的值，表示网络预测的u位置的值。

3.一种基于双路孪生网络的视频运动目标跟踪设备，其特征在于，所述设备包括：

处理器以及存储有计算机程序指令的存储器；

所述处理器读取并执行所述计算机程序指令，以实现如权利要求1-2任意一项所述的运动目标跟踪方法。

4.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-2任意一项所述的运动目标跟踪方法。