[发明专利]一种针对无人机集群的光电探测跟踪方法及系统

权利要求书

1.一种针对无人机集群的光电探测跟踪方法，其特征在于，所述方法包括：

通过大视场仿生光学组件拍摄得到无人机集群的多组运动视频；所述大视场仿生光学组件由前级球形物镜和后级小口径透镜组阵列组成；

根据所述多组运动视频提取多组视频帧的序列图像，将所述序列图像按视频帧拼接得到无人机集群的全景图像；

通过训练好的yolov4第一网络模型对所述全景图像中的多无人机图像进行识别与定位，得到多个无人机的目标检测框和类别信息；

通过训练好的yolov4第二网络模型对前一帧和当前帧的所述全景图像的所述目标检测框进行特征比对，并结合所述类别信息，得到前一帧和当前帧中多个目标检测框的匹配关系，根据所述匹配关系确定与前一帧目标检测框匹配的当前帧目标检测框，将所述同一目标的目标检测框的中心点作为轨迹点，根据所述轨迹点绘制无人机目标的跟踪轨迹。

2.根据权利要求1所述的方法，其特征在于，根据所述多组运动视频提取多组视频帧的序列图像，将所述序列图像按视频帧拼接得到无人机集群的全景图像，包括：

根据所述多组运动视频提取多组视频帧的序列图像；

对所述序列图像进行几何畸变校正和噪点抑制的预处理；

通过基于SIFT的配准算法对预处理后的所述序列图像进行图像配准；

通过像素级融合中的加权平均法对配准后的所述序列图像进行拼接，得到无人机集群的全景图像。

3.根据权利要求1所述的方法，其特征在于，所述yolov4第一网络模型的训练步骤包括：

建立包含多种无人机场景图像的训练集和测试集；

使用数据标注工具获取所述训练集中待识别目标的检测框；

以darknet53作为主干网络，空间金字塔池化模块和路径聚合网络模块作为颈部，yolov4作为头部搭建yolov4网络模型；

设置所述yolov4网络模型的训练参数，通过标注了检测框的所述训练集对所述yolov4网络模型进行迭代训练，直到损失函数收敛，得到预备模型；

将所述测试集输入所述预备模型进行检测，若输出正确率没有达到预先设定的阈值，则重新设置所述训练参数并迭代训练，直到所述预备模型对所述测试集的正确率达到所述阈值，得到训练好的所述yolov4第一网络模型。

4.根据权利要求3所述的方法，其特征在于，所述通过训练好的yolov4第二网络模型对前一帧和当前帧的所述全景图像的所述目标检测框进行特征比对，并结合所述类别信息，得到前一帧和当前帧中多个目标检测框的匹配关系，根据所述匹配关系确定与前一帧目标检测框匹配的当前帧目标检测框，将所述同一目标的目标检测框的中心点作为轨迹点，根据所述轨迹点绘制无人机目标的跟踪轨迹，包括：

将前一帧的所述全景图像的所述目标检测框作为目标区域，通过第一神经网络模型提取所述目标区域的特征；

将当前帧的所述全景图像的所述目标检测框作为搜索区域，通过第二神经网络模型提取所述搜索区域的特征；

对所述目标区域的特征和所述搜索区域的特征进行特征比对，得到前一帧和当前帧中多个目标检测框的匹配关系；

根据所述匹配关系确定与前一帧目标检测框匹配的当前帧目标检测框，将所述同一目标的目标检测框的中心点作为轨迹点，根据所述轨迹点绘制无人机目标的跟踪轨迹。

5.根据权利要求4所述的方法，其特征在于，根据所述轨迹点绘制无人机目标的跟踪轨迹之后，还包括：

将所述跟踪轨迹数据发送到地面站系统，在所述地面站系统中进行实时高清显示。

6.根据权利要求5所述的方法，其特征在于，根据所述多组运动视频提取多组视频帧的序列图像，将所述序列图像按视频帧拼接得到无人机集群的全景图像，包括：

根据所述多组运动视频提取多组视频帧的序列图像，通过多GPU将所述序列图像按视频帧拼接得到无人机集群的全景图像。

7.根据权利要求1至6任一项所述的方法，其特征在于，根据所述多组运动视频提取多组视频帧的序列图像，包括：

根据所述多组运动视频，通过OpenCV技术提取多组视频帧的序列图像。