[发明专利]一种基于RAFT光流的全卷积孪生网络目标跟踪算法

说明书

本发明公开了一种基于RAFT光流的全卷积孪生网络目标跟踪算法，首先确定目标图片的位置和大小信息，然后初始化网络参数，根据第一帧图片进行特征提取，并进行光流模型初始化；根据后续帧图片，提取特征并计算相似度，输入至光流模型，通过多次的迭代，更新光流信息；将融合了光流信息的特征输入到跟踪模型中预测目标的位置，然后在预测的目标位置预估目标的具体尺寸，同时依据网络的权值以及光流模型的参数来更新模型；最后输出目标的位置的尺寸大小；本发明公开的目标跟踪方法采用了结合光流信息的端到端的目标跟踪模型，可以提升模型跟踪的成功率和鲁棒性。

技术领域

本发明涉及目标跟踪技术领域，主要涉及一种基于RAFT光流的全卷积孪生网络目标跟踪算法。

背景技术

计算机视觉是指用摄像机和计算机代替人眼来对目标进行识别，测量和跟踪等机器视觉，并进一步做图像处理，用计算机处理成为更适合人眼观察或传送给仪器检测的图像。计算机视觉包含如下一些分支：画面重建，事件监测，目标跟踪，目标识别，机器学习，索引创建，图像恢复等。

在数字视频处理和计算机视觉领域的各种应用中，目标的跟踪是一个重要的，也是最基本的任务。

跟踪是视频应用中的一个基本的部分。由于跟踪需要在帧之间建立目标对应关系，所以它需要对目标特征进行一定程度的推理。视频目标跟踪的主旨是根据一个视频第一帧中任意目标的位置，来推论出它在后续帧中的位置。在很多应用中，目标跟踪都是在线跟踪，同时视频播放时目标也在移动，所以目标跟踪应该根据上一帧中目标的位置来推断当前帧中目标的位置。

目标跟踪在机器视觉领域有着广泛的应用，如人机交互，自动驾驶，视频监控，车辆导航等。近年的基于深度学习的目标跟踪的算法取得了令人满意的效果，使得跟踪技术得到突破性进展。

目标跟踪算法可以被简单的分为生成式和判别式算法。生成式的算法通常使用生成式模型来描述目标的外形，然后在设定的度量空间中，找寻视频中与目标最为相近的候选目标。另一方面，判别式跟踪器通常训练一个分类器将背景和目标分开。

近年来，Bolme等人将卷积理论从信号处理领域引入视觉跟踪领域，将目标跟踪中的经典模板匹配问题转化为频域的互相关操作。通过他们的工作，基于相关滤波的跟踪器不仅提高了跟踪速度，而且提高了精度。后来随着深度学习的发展，基于相关滤波器的跟踪器也开始融合深度学习技术。基于深度特征表示的相关滤波跟踪器在最新的基准测试和跟踪挑战中都取得了良好的性能。最近，基于Siamese网络的跟踪器由于他们具有良好的准确性和效率的平衡，引起了广泛的关注。

发明内容

发明目的：本发明提供了一种融合光流信息的全卷积孪生网络目标跟踪方法，通过将视频帧与帧之间的光流信息和包含丰富语义信息的特征相融合，可以提升跟踪的鲁棒性和成功率。

技术方案：为实现上述目的，本发明采用的技术方案为：

一种基于RAFT光流的全卷积孪生网络目标跟踪算法，包括以下步骤：

步骤S1、确定输入图片中目标的位置信息和大小信息；

步骤S2、初始化网络参数，对输入图片进行逐帧判断；当输入图片为第一帧图片时，通过特征提取网络提取第一帧图片中目标的特征信息，将提取的特征输入至光流模型，进行光流模型初始化；

其中，所述特征提取网络包括编码部和解码部；所述编码部采用卷积操作提取特征语言信息，解码部采用上采样操作，保证编码后得到的特征尺寸和输入特征尺寸一样；所述光流模型包括光流信息和GRU模块；所述光流信息包括当前帧图片与上一帧图片的位置信息的差值；所述GRU模块用于迭代更新信息；

步骤S3、当输入图片不是第一帧图片时，计算当前帧图片与上一帧图片的提取特征相似度，获取得分图，并将所述得分图输入已经初始化的光流模型中，迭代并更新得分图；