[发明专利]一种用于跟踪无人机的双边流语义一致性方法

说明书

本发明公开了一种用于跟踪无人机的双边流语义一致性方法，采用双边流语义一致性跟踪网络来实现，双边流语义一致性跟踪网络包含特征提取模块、类别级语义调制模块、实例级语义调制模块，其具体步骤包括：构建用于训练和验证无人机跟踪性能的多模态基准数据集；在类别级语义调制阶段的跟踪器中，采用类级别的语义调制来搜索尽可能包含无人机的锚点框，同时联合使用跨视频序列的特征来搜索、筛选并输出包含无人机特征的候选框；最后利用细粒度的实例级功能来优化调整候选框与目标真值框间的差异。本方法融合目标在多模态下的信息并充分利用了目标跨不同视频序列的语义特征，提高了跟踪器的鲁棒性和辨别能力同时不会引入任何额外的推理时间。

技术领域

本发明属于计算机视觉领域，尤其涉及一种用于跟踪无人机的双边流语义一致性方法。

背景技术

近年来，由于商业和娱乐用途无人机(UAV)的普及性大大提高，无人机具有了很广泛的应用，例如地面场景航拍、自主着陆、目标检测和跟踪。然而在这些实际应用的背后，对无人机运行状态(包括位置和轨迹)的监视至关重要。目前提出的大多数目标跟踪器都是基于RGB图像信息的。但是，在光线不足的情况下，这类跟踪器可能无法找到目标有用的提示，从而导致其跟踪结果不可靠。为了解决这一问题，目前提出了采用红外图像进行目标跟踪的方法。然而，红外图像仍然存在分辨率较低的问题，无法为跟踪器提供目标足够的信息。

发明内容

针对光线不足的情况下无人机监视和跟踪问题，本发明将可见光和红外图像中的信息进行融合以实现无人机跟踪，利用多模式的信息学习实现无人机跟踪器。本发明公开了一种用于反无人机的多模态基准数据集(Anti-UAV)的构建方法，其中Anti-UAV数据集主要为可见光和红外的高清视频序列对,每个视频序列都包含表示目标对象是否存在的边界框、目标属性和目标标志。本发明还公开了一种用于跟踪无人机的网络模型，称为双边流语义一致性跟踪网络，其包含特征提取模块、类别级语义调制模块、实例级语义调制模块。由于多模态基准数据集中的所有不同的视频序列中的标记的对象仅为单目标的无人机，因此该网络可以充分利用目标跨不同视频序列的特征。

在类别级语义调制阶段的跟踪器中，采用类别级的语义调制来搜索并生成锚点框，同时联合使用跨视频序列的特征来搜索、筛选并输出包含无人机特征的候选框，以减少类内差异；最后利用细粒度的实例级功能来优化调整候选框与带有目标实例信息的真值框间的差异，提高目标检测与跟踪的精准度。本方法融合目标在多模态下的信息并充分利用了目标跨不同视频序列的语义特征，提高了跟踪器的鲁棒性和辨别能力。然而，由于双边流语义一致性方法仅在训练中起作用，因此不会影响推理时的算力和时间消耗。

本发明公开了一种用于跟踪无人机的双边流语义一致性方法，采用双边流语义一致性跟踪网络，简称跟踪器，来实现，双边流语义一致性跟踪网络包含特征提取模块、类别级语义调制模块、实例级语义调制模块，所述的三个模块依次连接，其具体步骤包括：

S1，构建用于训练和验证无人机跟踪性能的多模态基准数据集。采集若干个同时含有热红外和可见光的视频序列对。针对每个可见光和红外视频图像都进行无人机目标的边界框标注，再标注图像中的目标属性和无人机存在与否的标签，如果图像中存在目标，则该标签取值为1，否则该标签取值为0，目标属性包括目标是否飞离视线之外、目标是否被遮挡、目标是否快速移动、目标是否存在尺度变化、目标是否处于不同的亮度模式、是否存在热交叉、是否存在目标低分辨率等；将每张图像标注的内容保存到一个json格式的文件内，每张图像的标准内容对应一个文件。多模态基准数据集被划分为训练集、验证集和测试集，上述三种数据集划分数目的比例为5:2:3，其中训练集和验证集来自同一视频的非重叠片段，测试集采用的视频片段与训练集和验证集均不相同且其包含的目标属性比训练集更多。多模态基准数据集中视频的内容为在空中飞行的单目标无人机。为了增加无人机背景的多样性和目标检测的复杂性，在采集视频对数据时设计多种场景，包括目标飞离视线之外、目标被遮挡、目标快速移动、目标尺度变化、不同的亮度模式(白天和夜晚)、热交叉和目标低分辨率等。

所述的目标被遮挡，是指目标被建筑物、云彩或树木等引起部分或全部遮挡。