[发明专利]一种基于孪生网络的视觉跟踪算法及多模板更新策略

说明书

本发明公开了一种基于孪生网络的视觉跟踪算法及多模板更新策略，通过利用孪生子网络提取模板特征和搜索特征；利用可分离卷积衡量两者之间的相关度，获得响应图；通过预测网络的分类和回归子网络子网络融合所述响应特征图，分别获得类别概率和边界框的偏移量。采用尺度正则化的交并比损失函数训练边界框回归网络，实验表明跟踪器达到了先进的水平，为解决跟踪器在长程跟踪中模板退化问题提出一种多模板更新策略，该策略分为模板更新决策，模板选择策略及模板融合策略三个部分。在跟踪期间，维护一个模板池来存储目标外观的动态变化。提出的多模板更新策略，在牺牲少量速度条件下，有效提升跟踪算法的精度，实现了跟踪精度和效率的平衡。

技术领域

本发明涉及计算机视觉中单目标跟踪技术领域，尤其涉及一种基于孪生网络的视觉跟踪算法及多模板更新策略。

背景技术

视觉跟踪算法主要分为两大类别：生成式方法和判别式跟踪方法。本文主要关注于判别式跟踪算法，即将跟踪问题形式化为训练分类器，当前帧目标区域为正样本，背景区域为负样本，训练一个分类器，用于区分前景目标和背景，然后在下一帧寻找最优区域。在判别式跟踪算法中，最受关注的是基于相关滤波的方法。近些来，随着深度学习在计算机视觉的广泛应用，将相关滤波和卷积神经网络相结合的基于孪生网络的算法应运而生。基于孪生网络的跟踪器大致可分为两类：anchor-based和anchor-free跟踪算法。为了解决SiamFC网络无法精确预测边界框的问题。提出了基于区域候选网络的孪生跟踪器SiamRPN。区域候选网络是目标检测算法FasterRCNN提出，专门用于回归候选框的网络结构，通过预测锚框的偏移量来预测边界框，大大提高了跟踪精度，但同时相比SiamFC速度有所下降。基于孪生网络的相关跟踪器随着网络的加深，跟踪准确性上升幅度逐渐减小，算法存在上限，其原因在于网络中的padding操作会网络的学习产生位置偏见。针对此，SiamRPN++和SiamDW采用了两种不同的策略解决这个问题，SiamRPN++提出对数据作偏移采样可以缓解该现象，而SiamDW则设计一种新的内部裁剪残差模块，将padding影响的特征裁剪出去。这两类算法从不同的角度解决了学习存在的位置偏见，使得跟踪性能进一步提升。模板更新问题对于长程的目标跟踪任务至关重要，现有基于孪生网络的跟踪器通常仅使用初始模板，而初始帧虽然可靠，但无法有效表示目标所有的外观状态。在长程的视频序列中，目标的外观通常会发生动态变化，模板更新则是为了维持模板的有效性，减小跟踪偏移的风险。目前，存在一些工作尝试解决跟踪过程中的模板更新问题。

但本申请发明人在实现本申请实施例中发明技术方案的过程中，发现上述技术至少存在如下技术问题：

现有技术中视频跟踪算法存在无法准确预测边框尺度大小，造成位置跟踪偏差的技术问题。同时现有的基于孪生网络的跟踪算法仅利用初始目标状态作为模板特征，在长程跟踪过程中存在模板退化问题，无法跟踪目标的动态变化。

发明内容

本申请实施例通过提供一种基于孪生网络的视觉跟踪算法及多模板更新策略，解决了现有技术中视频跟踪算法存在无法准确预测边框尺度大小以及模板退化问题。鉴于上述问题，提出了本申请实施例提供一种基于孪生网络的视觉跟踪算法及多模板更新策略。

第一方面，本申请实施例提供了一种基于孪生网络的视觉跟踪算法，所述算法包括孪生子网络、预测网络，所述算法包括：利用孪生子网络提取特征，所述特征包括模板特征、搜索特征；利用可分离卷积衡量所述模板特征与搜索特征每个通道上模式的相关度，获得响应特征图；通过预测网络的分类子网络融合所述响应特征图的通道信息，获得预测类别；通过预测网络的回归子网络对响应特征图进行融合，输出每个位置的偏移量；本发明采用尺度正则化的交并比损失函数训练边界框回归网络；另一方面，本申请还提供了一种多模板更新策略，嵌入应用于所述算法中，所述多模板更新策略包括：预设模板池基数；获得跟踪过程中的目标外观状态信息；根据所述预设模板池基数、所述目标外观状态信息，构建模板池；获得初始模板；将所述初始模板作为第一查询量，对所述模板池进行元素检索，获得第一模板；将初始模板的响应特征图和当前第一模板的响应特征图分别送入预测网络，最后在输出端作融合生成最终的响应图和边界框。