[发明专利]基于多挑战交互学习的实时RGBT跟踪方法及装置

权利要求书

1.基于多挑战交互学习的实时RGBT跟踪方法，其特征在于，包括以下步骤；

S1、训练网络模型；

所述网络模型包括依次串联的若干级主干网络模块、自适应感兴趣区域对准操作层、全连接层；所述若干级网络主干模块包括第一主干网络模块、第二主干网络模块、第三主干网络模块，

所述第一主干网络模块包括并行的第一双流CNN网络模块、第一挑战感知器分支模块，

所述第一双流CNN网络模块包括第一卷积层(101)、第二卷积层(102)、第一线性激活模块(301)、第一CONCAT层(401)、第一聚合层(501)、第四线性激活模块(601)；

所述第一挑战感知器分支模块包括第一挑战感知器模块(201)、第二挑战感知器模块(202)、第三挑战感知器模块(203)，第一挑战感知器模块(201)、第二挑战感知器模块(202)、第三挑战感知器模块(203)均通过堆叠在一起的CONV层、LRN层、maxpool层组成；

所述第一卷积层(101)、第二卷积层(102)获取不同模态下目标的通用特征；

所述第一挑战感知器模块(201)为模态特有的挑战感知分支，还包括第一IV模块、第一TC模块以及第一GM模块；所述第一IV模块、第一TC模块从某一模态的目标获取照度变化特征信息和热交叉特征信息，同时所述第一IV模块将获取的照度变化特征信息传递至第一GM模块；

所述第三挑战感知器模块(203)与第一挑战感知器模块(201)相同，所述第三挑战感知器模块(203)包括第二IV模块、第二TC模块以及第二GM模块，所述第二IV模块从另一模态的目标中获取照度变化特征信息，所述第二TC模块从另一模态的目标中获取热交叉特征信息，同时所述第二TC模块将获取的热交叉特征信息传递至第二GM模块；

同时所述第一TC模块将获取的热交叉特征信息传递至第二GM模块；所述第二IV模块将获取的照度变化特征信息传递至第一GM模块；所述第一GM模块、第二GM模块将获取的特征信息传输至第一CONCAT层(401)处进行维度拼接；

所述第二挑战感知器模块(202)包括FM模块、OCC模块、SV模块，所述FM模块、OCC模块、SV模块分别从两种模态下的目标获取快速运动信息、比例变化信息、遮挡信息；并将信息发送至第一CONCAT层(401)处进行维度拼接；

所述第一CONCAT层(401)将拼接后的信息传递至第一聚合层(501)处，所述第一聚合层(501)将第一CONCAT层(401)传递的特征信息与第一卷积层(101)传递的特征信息进行相加处理，并发送至第一线性激活模块(301)处；所述第一聚合层(501)还将第一CONCAT层(401)传递的特征信息与第二卷积层(102)传递的特征信息进行相加处理，并发送至第四线性激活模块(601)处；

所述第一线性激活模块(301)与第四线性激活模块(601)将池化后的特征信息依次传递至第二主干网络模块、第三主干网络模块处；经过第三主干网络模块输出的特征信息传递至自适应感兴趣区域对准操作层，得到最终的样本特征图，并保存该样本特征图，自适应感兴趣区域对准操作层将样本特征图输入至全连接层，经过全连接层分类处理后得到每个样本的得分；取得分最高的样本位置作为当前帧预测的视觉跟踪结果；

S2、基于训练后的网络模型进行跟踪，确定目标位置。

2.根据权利要求1所述的基于多挑战交互学习的实时RGBT跟踪方法，其特征在于，所述第一GM模块、第二GM模块相同；

所述第一GM模块中包括若干个依次串联的卷积模块(901)，所述卷积模块(901)由CONV层、ReLU层堆叠在一起组成，先验模态下的特征信息输入至卷积模块(901)中，并依次传递至最后一个卷积模块(901)，将先验模态下特征信息传递至门处理模块处，所述门处理模块将处理后的先验模态下特征信息与最后一个卷积模块(901)处理后的特征信息进行相乘运算处理，并将相乘运算处理后的特征信息与引导莫模态下特征信息进行相加运算处理，输出融合结果。