[发明专利]一种基于多个广角摄像头的无人机避障装置及其避障方法

权利要求书

1.一种基于多个广角摄像头的无人机避障装置，其特征在于，所述装置包括：

多个广角摄像头，位于机身不同位置的广角摄像头实时采集广角视频数据；

畸变矫正模块，对采集的广角视频数据进行实时的畸变矫正处理；

深度检测模块，用神经网络检测畸变矫正过后的广角视频数据，输出深度图；

RGB-D SLAM处理模块，将畸变矫正后的广角视频数据和深度图处理为RGB-D数据，数据输入到RGB-D SLAM处理模块，输出前方障碍物三维重建数据与自身位姿估计数据；

路径规划与避障模块，知道场景中障碍物与自身的位置信息后，该路径规划与避障模块为无人机规划路径，规划路径的过程中实现避障。

2.根据权利要求1所述的基于多个广角摄像头的无人机避障装置，其特征在于，所述广角摄像头为4个。

3.一种利用权利要求2所述的基于多个广角摄像头的无人机避障装置实现的无人机避障方法，其特征在于，包括下述步骤：

步骤一、使用位于无人机前视、后视、左右侧视的4个广角摄像头实时拍摄视频，得到实时畸变视频数据；

步骤二、将所述广角摄像头拍摄的畸变视频数据进行畸变矫正，得到无畸变的视频数据；

步骤三、用事先训练好的神经网络实时检测所述无畸变的视频数据，得到实时深度图；

步骤四、将所述无畸变的视频数据和深度图处理为RGB-D数据，用RGB-D SLAM算法处理此数据，对前方障碍物进行三维重建与自身位姿估计；

步骤五、利用重建后的障碍物信息，对无人机进行避障以及路径规划。

4.如权利要求3所述的无人机避障方法，其特征在于，在步骤一中，4个广角摄像头竖直方向同高度分布在无人机的前后面和左右侧面，广角摄像头的视角为120度。

5.如权利要求3所述的无人机避障方法，其特征在于，在步骤一中，无人机避障运动时无需同时使用全部的广角摄像头，只需开启运动方向相关的摄像头。

6.如权利要求3所述的无人机避障方法，其特征在于，在步骤二中，畸变矫正首先由张正友标定法得到摄像头的内参矩阵和畸变系数矩阵K＝[k1,k2,k3,p1,p2]，再通过畸变数学模型矫正畸变视频，其中，f_x、f_y、c_x、c_y是以像素为单位的相机内参系数；k1、k2、k3用于表示相机的径向畸变程度，p1、p2表示相机的切向畸变程度。

7.如权利要求3所述的无人机避障方法，其特征在于，在步骤三中，训练神经网络的数据由布放在无人机上的经过校准的两台水平摆放摄像机采集，得到双目视频数据用于训练。

8.如权利要求3所述的无人机避障方法，其特征在于，在步骤三中，用足够多在x，y，z三个方向有不同机身倾角的双目数据训练深度检测模型。

9.如权利要求3所述的无人机避障方法，其特征在于，在步骤三中，使用无监督的方式训练神经网络，神经网络采用生成视差图的DispNet，将左视图I^l输入该神经网络生成以左视图为基底的左视差图d^l与以左视图为基底的右视差图d^r，用视差图与真实的左右视图可以得到重构的左右视图í^l、í^r，用重构的左右视图不断反向传播训练神经网络。

10.如权利要求3所述的无人机避障方法，其特征在于，在步骤三中，深度图序列的每一个矩阵都与广角视频中的每一帧对应，矩阵中的每一个值都表示这一帧中对应像素点距离相机的物理距离。

11.如权利要求3所述的无人机避障方法，其特征在于，在步骤四中，在室外场景，自身位姿估计需结合RGB-D SLAM算法和GPS信息；在室内无法接收GPS信号时，使用SLAM算法进行位姿估计。