[发明专利]基于无监督光流网络的移动机器人红外目标跟踪方法及系统

权利要求书

1.一种基于无监督光流网络的移动机器人红外目标跟踪方法，其特征在于，包括依次执行如下步骤：

步骤S1：提取前T帧的特征图，使用无监督光流网络计算前一帧和前第二帧至前第T帧的光流；

步骤S2：根据对应的光流对前第二帧至前第T帧的光流使用仿射变换进行对齐；

步骤S3：将前一帧特征图和对齐后的其他特征图投入空间注意网络得到权值图；

步骤S4：利用时间注意网络对权值图进一步加权；

步骤S5：用得到的权值图对前一帧特征图和对齐后的其他特征图进行加权得到目标的特征图；

步骤S6：提取要预测帧的特征图，跟据步骤S5得到的特征图使用滤波器得到跟踪结果；

在所述步骤S2中，用公式(1)所示的仿射变换根据光流对特征图进行对齐；

其中p为原特征图的坐标，为原特征图上p点的第m个信道在用光流进行对齐以后的值，δp为光流，q为特征图中的各个点坐标，K是双线性插值核，代表原特征图上q点的第m个信道的值；

在所述步骤S3中，首先使用瓶颈网络对特征图进行处理得到然后利用公式(2)根据算得各帧的权值；

其中为用第t-1帧的光流进行仿射变换得到的特征图上P点的值，为第t-1帧特征图上p点的值。

2.根据权利要求1所述的移动机器人红外目标跟踪方法，其特征在于，在所述步骤S4中，将各帧权值图依次经过一个全局池化层和三个全连接层进行处理得到各帧权值图的权值，然后用所述权值对权值图加权，得到各帧特征图的最终权值图。

3.根据权利要求2所述的移动机器人红外目标跟踪方法，其特征在于，在所述步骤S5中，使用公式(3)对对齐后的数帧特征图进行加权得到融合的特征图；

其中为对齐后的第i帧特征图，ω_i→t-1为对应的权值图。

4.一种基于无监督光流网络的移动机器人红外目标跟踪系统，其特征在于，包括：

提取模块：用于提取前T帧的特征图，使用无监督光流网络计算前一帧和前第二帧至前第T帧的光流；

对齐模块：用于根据对应的光流对前第二帧至前第T帧的光流使用仿射变换进行对齐；

计算模块：用于将前一帧特征图和对齐后的其他特征图投入空间注意网络得到权值图；

加权模块：用于利用时间注意网络对权值图进一步加权；

第一处理模块：用得到的权值图对前一帧特征图和对齐后的其他特征图进行加权得到目标的特征图；

第二处理模块：用于提取要预测帧的特征图，跟据第一处理模块得到的特征图使用滤波器得到跟踪结果；

在所述对齐模块中，用公式(1)所示的仿射变换根据光流对特征图进行对齐；

其中p为原特征图的坐标，为原特征图上p点的第m个信道在用光流进行对齐以后的值，δp为光流，q为特征图中的各个点坐标，K是双线性插值核，代表原特征图上q点的第m个信道的值；

在所述计算模块中，首先使用瓶颈网络对特征图进行处理得到然后利用公式(2)根据算得各帧的权值；

其中为用第t-1帧的光流进行仿射变换得到的特征图上P点的值，为第t-1帧特征图上p点的值。

5.根据权利要求4所述的移动机器人红外目标跟踪系统，其特征在于，在所述加权模块中，将各帧权值图依次经过一个全局池化层和三个全连接层进行处理得到各帧权值图的权值，然后用所述权值对权值图加权，得到各帧特征图的最终权值图。

6.根据权利要求5所述的移动机器人红外目标跟踪系统，其特征在于，在所述第一处理模块中，使用公式(3)对对齐后的数帧特征图进行加权得到融合的特征图；

其中为对齐后的第i帧特征图，ω_i→t-1为对应的权值图。