[发明专利]一种基于深度学习的机载无人机多目标跟踪系统的跟踪方法

说明书

本发明公开了一种基于深度学习的机载无人机多目标跟踪系统的跟踪方法，属于无人机目标跟踪领域。通过云台摄像头获取实时图像信息，进行基本预处理后通过深度学习算法对图像中的多目标进行检测并分别跟踪，同时使用数据关联算法将目标进行相邻帧运动的关联，完成一对一的匹配，实现多个目标当前的状态估计以及历史运动的记录；根据目标的位置与速度预测结果，调节云台使目标保持在图像中央，实现单目测距，结合目标位置与速度实现对于目标的跟踪飞行。本发明不依赖GPS，在跟踪过程中实现视角保持，能够快速、准确、稳定的跟踪多目标并进行选择性跟踪，能够较好处理跟踪消失再出现等问题；同时能够通过无线通信与用户进行交互，反馈跟踪状态。

技术领域

本发明属于无人机目标跟踪领域，具体涉及一种基于深度学习的机载无人机多目标跟踪系统的跟踪方法。

背景技术

无人机通常是指由机载计算机系统和地面系统一起组合起来的可以自行完成飞行任务的无驾驶员的飞行器。相比于载人飞行器，具有体积小、质量轻、生产和运维成本低、机动性好、不存在机组人员安全问题等优点，可广泛用于低空侦察、反恐打击、情报收集等军事任务。在民用方面，可用于气象探测、灾害监测、地质勘探、地图测绘、农业植保、公安消防等诸多领域。近年来，随着技术进步带来了无人机成本的下降，其全球市场大幅增长，发展态势迅猛。

目前，计算机视觉与无人机的结合，已成为了当下研究的热点。不仅扩充了人类的视觉范围，更是在安防救援、人机交互、目标跟踪与检测等方面发挥了更大效用。现有的无人机目标跟踪技术中，多为单个目标的检测与跟踪，对目标类别不做限定，因此难以区分相似的类内对象，在实际应用中存在一定不便。在图像处理中，无人机的运动会对目标检测的质量造成干扰，容易出现目标脱离视野的情况。此外，由于无人机自身的定位大多基于GPS，GPS失效会影响跟踪效果。

发明内容

针对上述背景技术的分析，本发明旨在提供一种基于深度学习的机载无人机多目标跟踪系统的跟踪方法，无人机通过云台摄像头获取实时图像信息，进行基本的去噪、去畸变等预处理后，使用YOLOV3算法对图像中的多目标(行人、车辆等)完成快速、准确的检测；基于检测结果的矩形框，使用KCF算法实现对多个目标分别进行跟踪，当跟踪丢失则重新检测，并使用数据关联算法进行检测与历史跟踪的匹配，即为利用欧式距离以及直方图相似度，将目标进行相邻帧运动的关联，防止信息丢失，最后使用匈牙利算法，完成一对一的匹配，实现多个目标当前的状态估计以及历史运动的记录；基于扩展卡尔曼滤波进一步实现对目标的位置与速度预测，之后通过对于云台的PID控制实现目标保持在图像中央，基于相机内参与外参实现目标距离估测，之后无人机结合目标位置与速度实现对于目标的跟踪飞行。本发明利用视觉信息以及机载传感器的信息，实现对多目标的跟踪以及运动估计，同时控制云台使得无人机在跟踪过程中，地面目标始终保持在摄像机的图像中心，以解决现有技术中无法跟踪多个目标、依赖GPS、视角保持不稳等问题。

本发明主要通过以下技术方案实现：

一种基于深度学习的机载无人机多目标跟踪系统的跟踪方法，所述的机载无人机多目标跟踪系统包括无人机、云台、超声波传感器、机载电脑和相机；所述的机载电脑、云台和超声波传感器均固定在无人机上，所述的相机安装在云台上；所述机载电脑与地面站通过无线通讯；

所述的跟踪方法步骤如下：

S1：通过固定在无人机云台上的相机获取图像；

S2：对图像进行预处理，包括去噪、去畸变以及压缩图像尺寸处理；

S3：通过YOLOV3算法对预处理后的图像进行多个目标检测，获得多个目标的检测结果矩形框；

S4：基于每一个目标的检测结果矩形框，采用KCF进行目标跟踪，具体为：

S41：实时判断跟踪目标是否丢失，若跟踪目标未丢失，则继续当前跟踪，且保存当前目标的位置；若跟踪目标丢失，则返回S1重新进行目标检测；