[发明专利]一种基于深度学习的机载无人机多目标跟踪系统的跟踪方法

权利要求书

1.一种基于深度学习的机载无人机多目标跟踪系统的跟踪方法，其特征在于，所述的机载无人机多目标跟踪系统包括无人机、云台、超声波传感器、机载电脑和相机；所述的机载电脑、云台和超声波传感器均固定在无人机上，所述的相机安装在云台上；所述机载电脑与地面站通过无线通讯；

所述的跟踪方法步骤如下：

S1：通过固定在无人机云台上的相机获取图像；

S2：对图像进行预处理，包括去噪、去畸变以及压缩图像尺寸处理；

S3：通过YOLOV3算法对预处理后的图像进行多个目标检测，获得多个目标的检测结果矩形框；

S4：基于每一个目标的检测结果矩形框，采用KCF进行目标跟踪，具体为：

S41：实时判断跟踪目标是否丢失，若跟踪目标未丢失，则继续当前跟踪，且保存当前目标的位置；若跟踪目标丢失，则返回S1重新进行目标检测；

S42：针对新的检测结果矩形框，首先与上一时刻的跟踪目标的矩形框进行数据关联，完成矩形框之间的相似度匹配；之后结合匈牙利算法，实现跟踪目标在当前运动与历史运动的一一匹配，以维持视野中多个目标的跟踪与实时状态估计；

S5：通过地面站与机载电脑的无线通信返回实时跟踪的目标状态数据，若返回的数据中存在目标，则通过地面站发送需要跟踪的目标到机载电脑，云台进入跟踪模式；若返回的数据中不存在目标，则云台进入搜索模式；

S6：基于相机的内参与外参，并结合超声波传感器得到的无人机高度信息，实现跟踪目标的测距；

S7：基于跟踪目标在无人机坐标系的当前时刻的位置，使用卡尔曼滤波算法预测跟踪目标下一时刻的速度与位置；

S8：结合跟踪目标的运动速度与位置估计，以及通过超声波传感器获得的周围障碍物信息，对无人机进行运动控制，实现无人机对于目标的在线跟踪；

S9：继续重复S1～S8，直到地面站向无人机机载电脑发出终止跟踪的指令。

2.如权利要求1所述的基于深度学习的机载无人机多目标跟踪系统的跟踪方法，其特征在于，所述的无人机为四轴无人机。

3.如权利要求1所述的基于深度学习的机载无人机多目标跟踪系统的跟踪方法，其特征在于，使用NVIDIA TX2作为机载电脑。

4.如权利要求1所述的基于深度学习的机载无人机多目标跟踪系统的跟踪方法，其特征在于，基于KCF判断跟踪是否丢失，若未丢失则继续当前跟踪，保存当前目标的位置，并停止YOLOV3目标检测；若丢失则重新进行目标检测，并停止KCF目标跟踪。

5.如权利要求1所述的基于深度学习的机载无人机多目标跟踪系统的跟踪方法，其特征在于，所述的相机采用USB单目相机。

6.如权利要求1所述的基于深度学习的机载无人机多目标跟踪系统的跟踪方法，其特征在于，步骤S42中，采用数据关联算法和匈牙利算法实现新的检测结果矩形框与上一时刻的跟踪目标的矩形框之间的数据关联和运动匹配，具体为：

结合当前检测框与上一时刻最后帧的跟踪框，基于KD树对欧氏距离最近邻查找，对最近邻的k个目标进行直方图相似度匹配，若相似度大于预设的阈值，则使用匈牙利算法对于匹配进行优化，实现新的检测与历史跟踪的最大匹配，若存在未成功匹配的跟踪目标，则视为目标消失；若存在未成功匹配的检测目标，则视为新目标出现。

7.如权利要求1所述的基于深度学习的机载无人机多目标跟踪系统的跟踪方法，其特征在于，步骤S5中，针对目标是否存在，云台状态分为跟踪模式与搜索模式；在跟踪模式中，通过PID算法控制云台调整角度，使得跟踪目标保持在相机视野的中心位置，以维持跟踪视角的平稳保持；在搜索模式中，通过旋转云台轴角进行实时检测是否存在目标。

8.如权利要求1所述的基于深度学习的机载无人机多目标跟踪系统的跟踪方法，其特征在于，步骤S6中，结合相机内参、外参、以及超声波传感器测量的无人机高度，通过建立目标在像素坐标系到无人机坐标系的转换，实现跟踪目标的测距，得到跟踪目标在无人机坐标系的坐标。