[发明专利]一种基于深度学习的无人机自主飞行控制方法与系统

说明书

技术领域

本发明属于计算机视觉与自动控制领域，具体涉及一种基于深度学习的无人机自主飞行控制方法与系统。

背景技术

无人机相比于载人飞行器，具有成本低、体积小、使用方便、成产和维护成本低、机动性强和生存能力强等优点。由于没有人员驾驶，无人机不受人员的生理和生命风险限制，适合执行情报收集、地质勘测、低空侦查和反恐打击等“枯燥和危险”的任务。随着科技的发展，无人机的生产成本进一步降低，开始往民用和科研等领域发展，如气体管道监控、区域覆盖监控、灾害紧急搜救、农业植保、公安消防和遥感测绘等。

早期各种场景下无人机的实际应用多数基于人为遥控或干预，自动化程度不高。随着无人机自动化工作需求的不断扩大，基于计算机视觉的目标跟踪成为当下研究的热点，其在安防救援、人机交互和无人机自动飞行等领域有广泛应用。通过目标检测和跟踪算法可以得到目标在成像平面上的位置和尺度信息，然后通过滤波滤除该过程中引入的噪声，之后根据控制算法得到无人机的控制指令，进而控制无人机的姿态。上述过程不断循环，可以实现无人机跟踪目标的目的。

目标检测与目标朝向估计是机器视觉的重要研究内容。传统的目标检测流程首先在输入图像上定位出目标位置，然后对目标区域提取特征，最后用训练好的分类器对提取的特征进行分类，判定该区域是不是目标。该流程主要存在两个问题，一是时间复杂度高且窗口冗余，二是特征提取环节提取的特征是特征为人工设计，与任务相关，没有普适性。传统的关于目标朝向估计的研究主要从基于多视角的目标朝向估计、借助3D 信息的目标朝向估计和基于2D 图像信息的目标朝向估计几个方面展开。基于3D 信息的方法受到数据带宽、计算资源、供电需求和光线等的限制。基于2D 信息的朝向估计算法存在估计或检测精度不高的弊端。随着深度学习的兴起，基于神经网络的目标检测算法与朝向估计算法的准确率和运行速率都得到了很大的提升，可广泛应用于实际应用中。

传统的无人机飞行路径控制基于航点设定，依靠飞行控制器内部程序使得无人机依次沿航点飞行，自主性较低，灵活性较差，速度也相对较慢。

发明内容

本发明的目的在于提出一种基于深度学习的无人机自主飞行控制方法与系统。

本发明中提出了基于深度学习的人工神经网络的计算机视觉目标检测与朝向估计算法，利用搭载云台相机的多旋翼无人机采集图像，利用运行神经网络的运算单元检测目标并估计目标朝向，最后结合控制算法将控制指令反馈到无人机飞行控制器。

本发明的技术方案具体介绍如下。

本发明提供一种基于深度学习的无人机自主飞行控制系统，其为分布式系统，包括以下单元：

数据采集单元，为专用机载下位机，用于采集无人机飞行状态参数信息、机载设备与传感器运行状态信息及其数据；

深度学习运算单元，为嵌入式高性能机载嵌入式运算平台，用于执行神经网络目标检测与朝向估计计算，其输出作为控制算法的输入，结合控制算法实施飞行控制；

飞行控制单元，为机载飞行控制器，用于运行控制算法以控制无人机飞行姿态，包括前向速度、横向速度、纵向速度、偏航角速度、横滚和俯仰。

本发明还提供一种上述的基于深度学习的无人机自主飞行控制方法，包括以下步骤：

目标检测步骤，通过基于深度学习的人工神经网络实现对跟飞目标的检测，取得目标在图像中对应的感兴趣区域ROI；

目标朝向估计步骤，利用目标检测步骤的结果，将识别到的目标作为输入数据，通过基于深度学习的人工神经网络实现对目标相对无人机朝向的估计；

自主飞行控制步骤，基于目标检测与朝向估计步骤的结果，结合构建用于跟踪目标的控制算法，实施飞行控制。

本发明中，所述目标检测的步骤具体如下：

预先采集待跟踪目标各角度图像，作为训练数据集，利用随机梯度下降算法迭代求解进行深度学习，构建目标检测神经网络；

根据目标先验位置信息设定坐标控制无人机飞行至目标邻域，通过数据采集单元采集机载摄像头图像，作为输入传输至深度学习运算单元，进行目标检测，获取待跟踪目标在当前帧中的ROI。

本发明中，所述的目标朝向估计的步骤具体如下：

预先采集待跟踪目标各角度图像，进行朝向标定后，作为训练数据集，利用随机梯度下降算法迭代求解进行深度学习，构建目标朝向估计神经网络，该网络包括多层卷积层、全连接层和输出层，结合激活层以提升非线性拟合，并采用池化层实现特征图的降维和防止模型过拟合；