[发明专利]一种多特征融合的孪生网络目标跟踪方法及系统

权利要求书

1.一种多特征融合的孪生网络目标跟踪方法，其特征在于，包括以下步骤：

S1、将模板分支和搜索区域分支图像输入到SiamFC中得到对应的响应图；

S2、通过基于最大值滤波的多峰定位模块获取步骤S1响应图中多个峰对应的图像块，具体为：

S201、将响应图r上采样到候选图像的尺寸得到大小为255×255的响应图R₀；然后采用核大小为11×11的最大值滤波器对响应图R₀进行最大值滤波得到响应图R₁；

S202、定义一个255×255像素大小且所有值均为0的图像作为极大值响应图R₂的初始化图像，逐个像素比较响应图R₀和步骤S201中得到的响应图R₁对应位置的响应值，如果对应位置的响应值相等，对应位置为局部极大值，将R₂对应位置的像素值更新为响应图R₁对应的响应值，如果响应图R₀和步骤S201中得到的响应图R₁对应位置的响应值不相等，保持R₂中对应位置的值不变；

S203、计算峰阈值μ；

S204、根据步骤S202得到的极大值响应图R₂和步骤S203得到的峰阈值μ定位出响应图的多个峰在候选图像中的位置；

S205、根据步骤S204多个峰在候选图像中的位置定位出在候选图像上对应的图像块，当多个峰在候选图像中的位置中只有一个位置时，选择响应图r最大值对应的位置作为跟踪目标的中心位置，并根据前一帧预测的目标框来确定目标框的大小；反之，以多个峰在候选图像上的位置作为图像块的中心位置，并且根据图像块的中心位置和前一帧的预测框计算出多个图像块对应的目标框，定位出响应图多个峰在候选图像上对应的图像块；

S3、以步骤S2得到的图像块作为支持集，采用one-shot学习方法中的匹配网络计算特征重匹配得分；

S4、以步骤S2得到的图像块作为支持集，通过素描重匹配模块计算素描重匹配得分；

S5、通过融合策略对步骤S3的特征重匹配得分和步骤S4的素描重匹配得分进行融合；

S6、寻找步骤S5融合后匹配得分最大的图像，并将图像映射到候选图像中确定目标的位置。

2.根据权利要求1所述的方法，其特征在于，步骤S3具体为：

S301、在每一帧的跟踪中，将步骤S2中得到的图像块I＝{i₁,i₂,...,i_k}分别resize成84×84像素大小的图像块作为支持图像集，并将模板图像resize成84×84像素大小的图像块作为查询图像；

S302、将查询图像和支持图像集中的所有图像送入相同的特征提取网络Conv-4得到对应的特征向量；

S303、分别计算每个支持图像的特征向量与查询图像的特征向量的余弦距离，并将所计算的距离经过一层Softmax层进行归一化得到每个支持图像对应的特征重匹配得分

3.根据权利要求1所述的方法，其特征在于，步骤S3中，匹配网络的训练方式为：

从GOT-10k的训练集中随机选择一个视频序列；再从对应序列中随机选择两帧图像；并从其中的一帧图像中以目标标注框的中心点为中心裁剪出目标标注框大小的图像块作为模板图像；从另一帧图像中采样两个中心点并以这两个中心点为中心裁剪出目标标注框大小的两个图像块作为待匹配的图像，两个图像块中的一个表示与查询图像为同一目标的正样本，另一个表示与查询图像为不同目标的负样本；

然后将得到的查询图像、正样本和负样本分别resize成84×84像素大小的图像块，再分别经过特征提取网络Conv-4得到对应的特征向量；

再在特征空间计算查询图像与正样本的余弦距离以及查询图像与负样本的余弦距离，并将计算结果输入到Softmax层进行归一化；

最后将查询图像与正样本和负样本归一化后的余弦距离分别与1和0做均方误差损失，实现最小化查询图像与正样本的距离、最大化查询图像与负样本的距离。