[发明专利]基于无监督光流网络的移动机器人红外目标跟踪方法及系统

说明书

本发明提供了一种基于无监督光流网络的移动机器人红外目标跟踪方法及系统，该移动机器人红外目标跟踪方法用一个无监督的可端到端训练的光流网络提取前一帧的光流信息并使用这个光流信息对之前数帧的特征图进行对齐。通过空间和时间上的注意机制融合前几帧特征得到目标的特征图，最后根据这个特征图和要预测帧的特征图使用相关滤波器得到跟踪结果。本发明的有益效果是：本发明使用无监督的可端到端训练的光流网络，提取光流特征将之前数帧的特征进行融合，提升了跟踪效果。尤其是移动机器人跟踪过程中经常出现快速移动的目标，利用该发明可以有效跟踪这类目标。

技术领域

本发明涉及视觉目标追踪技术领域，尤其涉及基于无监督光流网络的移动机器人红外目标跟踪方法及系统。

背景技术

视觉感知是智能机器人感知系统中的重要组成部分，不可或缺。而视觉目标跟踪是视觉感知的支撑技术。机器人首先要对目标进行定位跟踪，然后才能进行交互。视觉目标跟踪技术是智能机器人领域的一个研究热点，并被广泛应用在机器人视觉跟踪与导航，智能监控等方向。视觉目标跟踪任务就是在视频的初始帧中给定要跟踪目标的位置与大小，预测后续视频帧中该目标出现的位置与大小。由于红外图像成像方式不依赖光线的强弱，只与物体辐射的温度相关。所以，红外目标跟踪方法可在能见度低甚至完全黑暗的情况下跟踪目标，这非常适合于机器人的视觉跟踪任务。

跟踪的一个核心问题是如何在遮挡、形状变形等变化场景中准确地检测和定位目标。近年来，基于判别相关滤波器(DCF)的视觉跟踪方法受到了广泛的关注。随着CNN在目标识别中取得了很大的成功，研究者又将CNN引入到了目标跟踪算法之中，这显著提高了跟踪算法的准确度和鲁棒性。还有一些目标跟踪算法使用了光流来进一步提高性能。

然而，大多数现有的跟踪器只考虑了目标在当前帧的表观特征，对帧间信息利用太少，这浪费了视频特征信息，同时也降低了跟踪器的性能。移动机器人经常出现跟踪快速移动目标的情景，这些跟踪器在这类场景中表现较差。虽然有一些跟踪器利用光流来提高性能，但是他们利用的光流特性是现成的，没有针对跟踪问题做训练，因此没有充分利用光流信息。

发明内容

本发明提供了一种基于无监督光流网络的移动机器人红外目标跟踪方法，包括依次执行如下步骤：

步骤S1：提取前T帧的特征图，使用无监督光流网络计算前一帧和前第二帧至前第T帧的光流；

步骤S2：根据对应的光流对前第二帧至前第T帧的光流使用仿射变换进行对齐；

步骤S3：将前一帧特征图和对齐后的其他特征图投入空间注意网络得到权值图；

步骤S4：利用时间注意网络对权值图进一步加权；

步骤S5：用得到的权值图对前一帧特征图和对齐后的其他特征图进行加权得到目标的特征图；

步骤S6：提取要预测帧的特征图，跟据步骤S5得到的特征图使用滤波器得到跟踪结果。

作为本发明的进一步改进，在所述步骤S1中，计算了之前数帧的特征图。

作为本发明的进一步改进，在所述步骤S1中，使用了一个无监督的可端到端训练的光流网络来计算前一帧和前第二帧……前第T帧的光流。

作为本发明的进一步改进，在所述步骤S2中，用公式(1)所示的仿射变换根据光流对特征图进行对齐；

其中p为原特征图的坐标，为原特征图上p点的第m个信道在用光流进行对齐以后的值，δp为光流，q为特征图中的各个点坐标，K是双线性插值核，代表原特征图上q点的第m个信道的值。

作为本发明的进一步改进，在所述步骤S3中，首先使用瓶颈网络对特征图进行处理得到然后利用公式(2)根据算得各帧的权值；