[发明专利]一种基于边界特征融合孪生循环神经网络的目标跟踪方法

说明书

本发明公开了一种基于边界特征融合孪生循环神经网络的目标跟踪方法，包括获取待跟踪目标视频；将获取的待跟踪目标视频输入预先训练好的基于孪生网络的目标跟踪模型，输出目标的预测位置；所述基于孪生网络的目标跟踪模型包括孪生网络模块、候选区域提取模块及区域细化模块；孪生网络模块用于特征提取融合，生成多尺度特征响应图；候选区域提取模块用于将多尺度特征响应图作为输入，提取多尺度特征响应图的中心区域特征和边界特征，合并中心区域特征和边界特征获得候选目标；区域细化模块用于将候选区域提取模块得到的候选目标作为输入，对候选目标进一步细化分类和回归。解决锚框重叠难以区分目标以及手工设置参数导致目标位置预测不可靠的问题。

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种基于边界特征融合孪生循环神经网络的目标跟踪方法。

背景技术

视觉跟踪是一个开放且有吸引力的研究领域，具有广泛的类别和应用，包括自动驾驶汽车，自动驾驶机器人，监视，增强现实，无人机(UAV)跟踪，体育，外科手术，生物学，海洋探险等。在复杂的现实世界场景中，视觉跟踪仍然是一个巨大挑战，此外，速度在实际应用中也很重要。目前国内外已有的视觉跟踪模型大多针对于可见光场景，对夜间场景的研究比较少。由于夜间场景的光照条件不足，颜色信息退化严重，亮度和信噪比都相对较低，造成了图像感知质量大幅度降低，因此现有算法和技术对夜间图像的分析、理解和目标跟踪都存在很大困难，这也将夜间场景目标跟踪上升为一项具有挑战性的研究。

目标跟踪技术的发展方向主要分为两类：在线更新法和基于Siamese网络离线训练方法。近年来，Siamese tracker因其平衡的速度和准确性而备受关注，并且随着将目标检测方法引入目标跟踪中取得可喜的表现，具有代表性的称为SiamRPN，逐渐开启了目标跟踪领域的新篇章。但由于SiamRPN采用手工参数的锚框训练回归网络，因此难以细化与目标对象重叠的锚，并且由于跟踪中的误差累积，目标位置的预测可能变得不可靠。

发明内容

本发明的目的是提供一种基于边界特征融合孪生循环神经网络的目标跟踪方法，解决锚框重叠难以区分目标以及手工设置参数导致目标位置预测不可靠的问题。

本发明为实现上述发明目的采用如下技术方案：

本发明提供了一种基于边界特征融合孪生循环神经网络的目标跟踪方法，包括：

获取待跟踪目标视频；

将获取的待跟踪目标视频输入预先训练好的基于孪生网络的目标跟踪模型，输出目标的预测位置；

其中，所述基于孪生网络的目标跟踪模型包括孪生网络模块、候选区域提取模块及区域细化模块；

所述孪生网络模块用于特征提取和融合，生成多尺度特征响应图；

所述候选区域提取模块用于将多尺度特征响应图作为输入，提取多尺度特征响应图的中心区域特征和边界特征，合并中心区域特征和边界特征获得候选目标；

所述区域细化模块用于将候选区域提取模块得到的候选目标作为输入，对候选目标进一步细化分类和回归。

进一步地，所述孪生网络模块包括上支路模块、下支路模块及特征融合模块，用于特征提取和融合，生成多尺度特征响应图，包括：

上支路模块、下支路模块通过共享参数的卷积神经网络提取目标图像特征和搜索图像特征，通过提取目标图像特征和搜索图像特征中包含外观信息conv2层以及包含语义信息的conv4、conv5层来构建多尺度特征；

将生成的多尺度特征输入到特征融合模块，目标图像特征图分别沿H和W轴逆时针旋转90°获得在H轴和W轴的旋转特征张量，经过pooling以及标准卷积层和sigmoid生成对应的在H轴和W轴的注意力权值，生成的注意力权值与其对应的旋转特征张量相乘获得对应的注意力响应图，最后注意力响应图沿着H和W轴进行顺时针旋转90°获得在H轴和W轴的增强目标图像特征图；