[发明专利]无人机基于多视角视觉同步紧耦合视觉辅助悬停方法

说明书

本发明公开了一种无人机基于多视角视觉同步紧耦合视觉辅助悬停方法，属于无人机研发技术领域，融合无人机多视角的视觉观测信息，包括前视、下视、后视、左视、右视、IMU、气压计、GPS、磁力计等多传感器实时估计载体飞机的运动状态信息，包括姿态、位置、速度，从而实时估计无人机的姿态信息和位置、速度信息。该无人机基于多视角视觉同步紧耦合视觉辅助悬停方法，通过多视角图像融合机载IMU实时估计载体飞机运动状态信息，再与GPS、气压计、磁力计等信息进行融合，实时估计无人机的姿态信息和位置、速度信息，相比单纯GPS信号进行悬停定位的无人机，使用多角度视觉融合GPS信息，进行无人机的悬停技术会更稳定、更鲁棒、更精准。

技术领域

本发明属于无人机研发技术领域，具体为一种无人机基于多视角视觉同步紧耦合视觉辅助悬停方法。

背景技术

随着经济的快速发展,人们的生活方式趋于多样化，这也导致我国使用无人机来辅助工作呈现出上升的趋势，因而无人机的自身稳定性变得非常重要。然而目前无人机的控制悬停主要以强GPS信号为主，当遇到搜不到卫星GPS的时候，无人机就会无法进行使用，因此使用视觉辅助无人机稳定飞行的需求越来越迫切。

目前无人机在巡检过程中，为保证无人机飞行和悬停的精准性，往往只采用纯GPS信号来控制无人机，导致无人机搜索不到GPS信号或者遇到GPS信号较弱环境的时候，例如(大桥底下、楼道间、人为GPS干扰)，无人机无法保持精准的悬停，会因GPS信号差而导致较大幅度晃动，甚至导致无法控制。

已有技术对无人机的视觉辅助悬停，大多使用无人机下视单目摄像头采集现场可见光图像，通过图像的运动，进而通过光流算法来计算出飞机的运动速度。但是在地面纹理较弱、飞机离地面较高的时候，会导致单目视觉算法计算飞机的速度和位置有较大的误差，无法满足视觉辅助无人机悬停稳定。因此，基于无人机基于多视角视觉同步紧耦合视觉辅助悬停技术实现越来越重要。

发明内容

针对现有技术的不足，本发明提供了一种无人机基于多视角视觉同步紧耦合视觉辅助悬停方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种无人机基于多视角视觉同步紧耦合视觉辅助悬停方法，包括以下步骤：

S1、发送悬停指令至无人机，无人机接收到悬停指令，并同时开启无人机的悬停模式；

S2、无人机采集多个相机角度下的视觉图像，视觉图像的频率恒定为20hz；

S3、无人机采集IMU载体飞机测量的无人机六轴姿态角以及加速度在内的测量数据，IMU的频率恒定为200hz；

S4、将步骤S2和S3中采集的视觉图像和IMU测量数据进行时间同步处理，将视觉图像额时间戳与IMU的时间戳进行对齐，并基于差分算法处理使得视觉图像和IMU测量数据时间同步；

S5、对步骤S2中多个角度下的视觉图像同时进行图像特征提取与跟踪，对多相机采集到的图像进行跟踪排序，并重采样和去噪预处理，利用光流法计算出各点的光流值，得出各点的光流场，然后对光流场进行阈值分割，区分出前景与背景，采用形态学滤波中的开、闭运算滤除孤立噪声点，经过区域连通便可识别出目标区域并提取其特征信息,并计算相机的位姿；

S6、对步骤S4中的IMU测量数据基于IMU内置的预积分算法，利用IMU间相对姿态矩阵预积分方程，计算测量节点间相对姿态，然后对局部区域挠曲形状拟合，利用相对姿态计算值和拟合值构造量测量，对载体飞机的位姿进行计算；

S7、基于步骤S5和S6的计算数据，计算相邻两帧图像的图像特征点位置变化信息从而计算出两帧间的速度和位移，然后再积分计算两帧图像间的IMU数据从而算出载体飞机的运动速度和位移轨迹，对载体飞机的姿态和轨迹进行实时估计；