[发明专利]基于非配对数据的可见光红外目标跟踪训练方法及装置

权利要求书

1.一种基于非配对数据的可见光红外目标跟踪训练方法，其特征在于，所述方法包括：

获取不成对的可见光图像和热红外图像，并基于所述可见光图像和所述热红外图像生成候选样本，所述候选样本包括正样本和负样本；

利用所述候选样本对可见光红外跟踪器进行训练；

其中，所述可见光红外跟踪器包括依次连接的模态特定模块、模态共享模块、模态自适应注意力模块和模态适配模块，所述模态特定模块包括第一模态特定网络和第二模态特定网络；所述可见光图像作为所述第一模态特定网络的输入和所述模态共享模块的输入，所述热红外图像作为所述第二模态特定网络的输入和所述模态共享模块的输入，所述第一模态特定网络的输出与所述模态共享模块的输出相加后得到的可见光模态特征作为所述模态自适应注意力模块的输入，所述第二模态特定网络的输出与所述模态共享模块的输出相加后得到的热红外模态特征作为所述模态自适应注意力模块的输入。

2.如权利要求1所述的基于非配对数据的可见光红外目标跟踪训练方法，其特征在于，所述第一模态特定网络、所述第二模态特定网络和所述模态共享模块均包括依次连接的三个卷积层，所述第一模态特定网络和所述第二模态特定网络的前两层卷积层的输出作为所述模态共享网络后两卷积层的输入；

所述第一模态特定网络的最后一个卷积层的输出与所述模态共享模块的最后一个卷积层的输出相加后作为所述模态自适应注意力模块的输入，所述得让模态特定网络的最后一个卷积层的输出与所述模态共享模块的最后一个卷积层的输出相加后作为所述模态自适应注意力模块的输入。

3.如权利要求1所述的基于非配对数据的可见光红外目标跟踪训练方法，其特征在于，所述模态自适应注意力模块包括共享权重的第一全连接层和第二全连接层、模态特定的第三全连接层和第四全连接层以及模态共享的第五全连接层；

所述可见光模态特征和所述热红外模态特征分别作为所述第一全连接层和所述第二全连接层的输入，进行降维处理，得到降维后的所述可见光模态特征和降维后的所述热红外模态特征；

通过所述第三全连接层和所述第四全连接层采用QKV机制分别对降维后的所述可见光模态特征和降维后的所述热红外模态特征进行处理，分别形成两个模态对应的注意力矩阵；

两个模态对应的注意力矩阵经所述第五全连接层形成模态共享查询集；

将所述模态共享查询集分别与两个模态对应的所述注意力矩阵相乘后，得到两个模态对应的增强特征图。

4.如权利要求1所述的基于非配对数据的可见光红外目标跟踪训练方法，其特征在于，所述模态适配模块包括依次连接的两个全连接层和模态连接层，所述模态连接层包括与两个模态对应的可见光模态全连接层和热红外模态全连接层；

依次连接的前两个全连接层后加入神经元随机激活函数；

可见光模态全连接层和热红外模态全连接层含有softmax层，softmax层用于计算所述候选样本中正负样本得分值，预测目标位置。

5.如权利要求4所述的基于非配对数据的可见光红外目标跟踪训练方法，其特征在于，所述方法还包括：

利用所述负样本得分值y与得分正值y^产生的交叉熵损失函数对所述可见光红外跟踪器进行训练，其中，交叉熵损失函数为：

Loss＝-(y*log(y^)+(1-y)*log(1-y^))；

通过随机梯度下降法优化所述所述可见光红外跟踪器的整体网络。