[发明专利]一种用于跟踪无人机的双边流语义一致性方法

权利要求书

1.一种用于跟踪无人机的双边流语义一致性方法，其特征在于，采用双边流语义一致性跟踪网络，简称跟踪器，来实现，双边流语义一致性跟踪网络包含特征提取模块、类别级语义调制模块、实例级语义调制模块，所述的三个模块依次连接，其具体步骤包括：

S1，构建用于训练和验证无人机跟踪性能的多模态基准数据集；采集若干个同时含有热红外和可见光的视频序列对；针对每个可见光和红外视频图像都进行无人机目标的边界框标注，再标注图像中的目标属性和无人机存在与否的标签，如果图像中存在目标，则该标签取值为1，否则该标签取值为0，目标属性包括目标是否飞离视线之外、目标是否被遮挡、目标是否快速移动、目标是否存在尺度变化、目标是否处于不同的亮度模式、是否存在热交叉、是否存在目标低分辨率；将每张图像标注的内容保存到一个json格式的文件内，每张图像的标准内容对应一个文件；多模态基准数据集被划分为训练集、验证集和测试集，上述三种数据集划分数目的比例为5:2:3，其中训练集和验证集来自同一视频的非重叠片段，测试集采用的视频片段与训练集和验证集均不相同且其包含的目标属性比训练集更多；多模态基准数据集中视频的内容为在空中飞行的单目标无人机；为了增加无人机背景的多样性和目标检测的复杂性，在采集视频对数据时设计多种场景，包括目标飞离视线之外、目标被遮挡、目标快速移动、目标尺度变化、不同的亮度模式、热交叉和目标低分辨率；

对于多模态基准数据集，其中的宽度为w、高度为h的无人机目标的尺度值s(w,h)的计算公式为：

依据所述的多模态基准数据集，对其中所有的无人机目标进行尺度值计算，设置无人机目标尺度值的上界和下界，根据无人机目标尺度值，对所有的无人机目标尺度值进行筛选，剔除目标尺度值大于上界或小于下界的无人机，以使训练集、验证集和测试集中的目标尺度值取值范围区间相似；在无人机目标跟踪过程中需要感知视频内无人机的存在状态，无人机的存在状态是指无人机是否存在以及标注的无人机边界框与其对应目标真值边界框之间的重叠面积，因此，需要计算无人机在视频图像内的存在状态的精度值SA：

式中，IOU_t为t时刻正在被跟踪无人机目标被标注的边界框与其对应目标真值边界框之间的重叠度，T为该视频序列的总时长；v_t为t时刻目标真值的存在标签值；p_t为t时刻跟踪器对目标的预测值，其用于衡量目标状态的准确度；存在状态的精度值SA用于计算目标在每一个视频序列中存在状态的平均值；

S2，目标特征提取；所述的目标特征，包括无人机目标尺寸、形状、位置；目标特征提取采用RCNN算法来实现，其具体包括，采用双支路网络分别对存在于不同模态视频图像内的无人机目标进行特征提取，并充分利用两支路间跨不同视频序列的语义信息进行目标跟踪；每一批次将两个不同的视频序列输入双边流语义一致性跟踪网络，然后采用Alexnet网络对图像中的无人机目标进行特征学习；Alexnet网络的特征提取部分采用了5个卷积层、2个全连接层，其中每个卷积层都含有一个池化层，最后一个卷积层中的池化层采用的神经元个数为9216，2个全连接层的神经元个数皆为4096；通过该Alexnet网络的训练，每个输入的无人机目标都得到一个4096维的特征向量；

S3，类别级语义调制；采用基于GlobalTrack目标跟踪模型的查询引导RegionProposal Network，RPN，的策略，该策略通过使用跨不同视频序列的特征查询方法来调制搜索的区域，输出Region Of Interest特征，简称ROI特征，跨不同视频序列的特征查询过程表示为：

式中，z_i表示第i个视频序列查询的ROI特征，x_j表示第j个视频序列经过Alexnet网络对图像提取到的搜索区域特征，视频序列经过Alexnet网络对图像提取到的搜索区域即为目标候选框，f_C为基于z_i和x_j的不同组合来联合对视频序列内和跨视频序列进行特征调制的调制器函数；具有与图像特征x_j相同的大小，表示用于生成候选信息的对第i和第j个视频序列的调制特征；f_out为用于对齐和x_j对应的图像通道特征的函数，f_z和f_x为分别作用于z_i和x_j来得到投射特征的函数，表示卷积操作；变量i和j的取值范围在0和批次总数n之间，当i和j不相等时，采用跨序列的图像调制法；当i和j相等时，采用的图像调制法为帧内序列相关方法；在对双边流语义一致性跟踪网络进行训练过程中，针对类别级语义调制的分类和回归操作，采用的损失函数为：

其中，α是用于调整L_same和L_cross之比的权重系数，L_same为视频序列内调制后的ProposalRegion Network预测的损失函数，Proposal Region Network预测简称PRN预测，L_cross为跨序列调制后的RPN预测的损失函数，z_j表示第j个视频序列查询的ROI特征，x_i表示第i个视频序列经过Alexnet网络对图像提取到的搜索区域特征，为调制特征时的RPN预测的损失函数；在对双边流语义一致性跟踪网络进行训练过程中，RPN预测的损失函数表示为：

其中，β为用于平衡类别级语义调制阶段分类操作和回归操作的损失函数的权值，L_cls(·)表示平衡类别级语义调制阶段分类操作的损失函数，L_reg(·)表示平衡类别级语义调制阶段回归操作的损失函数，s_u和分别表示对第u个目标预测的分类得分与对应目标真实值之间的分类得分，p_u和分别为第u个目标候选框与对应真实目标的边界框位置，n₀为目标总数，所述的候选框，是指对图像内的目标生成的所有锚点框进行筛选后输出的目标边界框；

S4，实例级语义调制；当已经完成了对当前目标特征所属视频序列的查询进行设置后，目标的候选框用于优化分类的准确度及目标候选框与目标真值框间的距离差值；针对在类别级语义调制步骤中查询图像获得的ROI特征z和已选出的第k个目标候选框x′_k，其在实例级语义阶段经过调制得到ROI特征的过程为：

其中，获取z的顺序与获取目标候选框的顺序相同；f_I为用于将不同目标的实例信息调制为已选择的候选框的函数，f_out′为用于将调制特征和候选框调整为相同维度变量的函数；f_z′和f_x′分别代表ROI特征和目标候选框的特征投射函数，⊙表示Hadamard积；

然后，对双边流语义一致性跟踪网络进行训练，将调制得到的第k个目标ROI特征用于分类和回归，得到的无人机目标跟踪结果L_I表示为：

其中，N_pnum表示步骤S3中得到的目标候选框的数目；对于调制得到的第k个目标ROI特征其采用的损失函数为：

其中，s_n′和s_n″分别代表双边流语义一致性跟踪网络对第n个目标跟踪的置信度和对应目标真实值的置信度，p_n′和p_n″分别为第n个目标候选框及对应真实目标的边界框位置；

所述的特征提取模块用于完成步骤S2所述的目标特征提取，所述的类别级语义调制模块用于完成步骤S3所述的类别级语义调制，所述的实例级语义调制模块用于完成步骤S4所述的实例级语义调制。