[发明专利]无人机基于多视角视觉同步紧耦合视觉辅助悬停方法

权利要求书

1.一种无人机基于多视角视觉同步紧耦合视觉辅助悬停方法，其特征在于，包括以下步骤：

S1、发送悬停指令至无人机，无人机接收到悬停指令，并同时开启无人机的悬停模式；

S2、无人机采集多个相机角度下的视觉图像，视觉图像的频率恒定为20hz；

S3、无人机采集IMU载体飞机测量的无人机六轴姿态角以及加速度在内的测量数据，IMU的频率恒定为200hz；

S4、将步骤S2和S3中采集的视觉图像和IMU测量数据进行时间同步处理，将视觉图像额时间戳与IMU的时间戳进行对齐，并基于差分算法处理使得视觉图像和IMU测量数据时间同步；

S5、对步骤S2中多个角度下的视觉图像同时进行图像特征提取与跟踪，对多相机采集到的图像进行跟踪排序，并重采样和去噪预处理，利用光流法计算出各点的光流值，得出各点的光流场，然后对光流场进行阈值分割，区分出前景与背景，采用形态学滤波中的开、闭运算滤除孤立噪声点，经过区域连通便可识别出目标区域并提取其特征信息,并计算相机的位姿；

S6、对步骤S4中的IMU测量数据基于IMU内置的预积分算法，利用IMU间相对姿态矩阵预积分方程，计算测量节点间相对姿态，然后对局部区域挠曲形状拟合，利用相对姿态计算值和拟合值构造量测量，对载体飞机的位姿进行计算；

S7、基于步骤S5和S6的计算数据，计算相邻两帧图像的图像特征点位置变化信息从而计算出两帧间的速度和位移，然后再积分计算两帧图像间的IMU数据从而算出载体飞机的运动速度和位移轨迹，对载体飞机的姿态和轨迹进行实时估计；

S8、将步骤S5和S6的多视觉图像和IMU数据进行紧耦合，将视觉图像和IMU得到的中间数据通过一个优化滤波器进行处理，把图像特征加入到特征向量中，对全局与局部图优化，计算出载体飞机的实时位姿和速度，实时估计载体飞机的运动状态信息；

S9、将多视觉图像与IMU紧耦合后的数据，再与GPS、超声波传感器、3DTof、磁力计进行扩展卡尔曼融合后，实时估计载体飞机的运动位移、速度和姿态变化；

S10、融合多传感器的载体飞机数据，载体飞机的运动状态数据即代表搭载载体飞机数据的无人机运动状态数据，实时感知无人机的运动状态信息，进行辅助无人机进行精准悬停。

2.根据权利要求1所述的一种无人机基于多视角视觉同步紧耦合视觉辅助悬停方法，其特征在于，所述S2中，多个相机角度的视觉图像包括前视、左视、右视、后视以及下视的五个不同角度上的视觉图像，所述多个相机角度的视觉图像需要进行时间同步处理。

3.根据权利要求1所述的一种无人机基于多视角视觉同步紧耦合视觉辅助悬停方法，其特征在于，所述S3中，IMU的载体飞机搭载在无人机的惯性导航设备中，从而用于基于姿态进行无人机的精密位移推算。

4.根据权利要求1所述的一种无人机基于多视角视觉同步紧耦合视觉辅助悬停方法，其特征在于，所述S5中，光流法可基于时变图像灰度的时空微分来计算像素的速度矢量，也可以基于特征和区域匹配的匹配方法来计算。

5.根据权利要求1所述的一种无人机基于多视角视觉同步紧耦合视觉辅助悬停方法，其特征在于，所述S8中，进行紧耦合时，多视觉图像和IMU数据进行相互调用，形成载体飞机运动位姿的全局图与局部图。

6.根据权利要求1所述的一种无人机基于多视角视觉同步紧耦合视觉辅助悬停方法，其特征在于，所述S9中，GPS、超声波传感器、3DTof以及磁力计均搭载在无人机上。

7.根据权利要求1所述的一种无人机基于多视角视觉同步紧耦合视觉辅助悬停方法，其特征在于，所述S10中，无人机的精准悬停的精度达到±3cm的范围内。