[发明专利]基于强化学习的桥梁检测无人机自主导航与稳定控制方法

权利要求书

1.基于强化学习的桥梁检测无人机自主导航与稳定控制方法，其特征在于，包括：

步骤一：基于牛顿-欧拉法对检测桥梁的四旋翼无人机进行动力学建模；

步骤二：考虑待检桥梁周围环境信息和检测约束条件，提出基于神经网络强化学习实现无人机自主避障飞行；

步骤三：采用桥梁建筑信息模型辅助下的双目视觉与IMU组合自主导航；

步骤四：系统内环控制采用自抗扰算法进行姿态控制，外环控制采用PID控制进行位置控制，实现桥梁检测无人机在强风干扰下的稳定控制。

2.如权利要求1所述的基于强化学习的桥梁检测无人机自主导航与稳定控制方法，其特征在于，所述步骤一的具体方法为：

为确定无人机飞行中的位置，建立机体坐标系E-XYZ，其原点是无人机起飞时的质心，X轴的正方向是无人机头的航向正方向，Y轴的正方向是无人机水平向左的方向，Z轴的正方向是无人机垂直向上的方向；

为确定四旋翼无人机的姿态，建立机体坐标系B-X'Y'Z'，其原点是无人机的质心，X'轴的正方向是机头的方向，Z'轴的正方向是垂直于机体平面向上，Y'轴的正方向由右手准则确定；

则，四旋翼无人机的动力学模型如下：

其中，m为无人机质量，x,y,z为距四旋翼中心点的平移位置；φ为桥梁检测无人机的横滚角，其角速度为p；θ为桥梁检测无人机俯仰角；ψ为桥梁检测无人机偏航角，其角速度为r，n₃为平动拖曳力系数，n_3x,n_3y,n_3z分别为X轴，Y轴和Z的平动拖曳系数，g为重力加速度，，I_XX,I_YY,I_ZZ分别为X轴，Y轴和Z轴的转动惯量，H为角动量，Ω＝[p q r]^T为角速度，H^R为角动量变化率，l为桥梁检测无人机的质心到中心点的距离。

3.如权利要求1或2所述的基于强化学习的桥梁检测无人机自主导航与稳定控制方法，其特征在于，所述的步骤二中基于神经网络强化学习的方法具体为：

步骤1：初始化神经网络和运行中所用到的参数；

步骤2：初始化用于桥梁检测的无人机的状态；

步骤3：获得所述无人机的当前状态信息s_t；

步骤4：把所述当前状态信息输入到步骤1的所述神经网络中，根据获得的Q值选择动作；

步骤5：执行动作使得所述无人机达到一个新的状态s_t+1，同时获得反馈强化信号值；若发生碰撞，则返回无人机的初始位置再重新开始；

步骤6：训练神经网络；

步骤7：重复步骤3-6直到学习完毕。

4.如权利要求3所述的基于强化学习的桥梁检测无人机自主导航与稳定控制方法，其特征在于，所述步骤二中自主避障的方法为：

采用Boltzmann分布实现无人机初始阶段对动作随机选择，某个动作被选择的概率为：

式中，T为虚拟问题，随着T增加，选择的随机性越强；

随着学习的进行，Q值慢慢趋向于所期望的状态-动作值，根据贪婪策略来选择动作，即选择最大Q值所对应的动作；

s为强化学习系统接受环境状态的输入，a为系统输出相应的行为动作。

5.如权利要求1或2所述的基于强化学习的桥梁检测无人机自主导航与稳定控制方法，其特征在于，所述的步骤三中自主导航算法的具体方法为：

根据桥梁检测无人机系统导航的框架模型，给出建筑信息模型辅助下的无人机双目视觉导航系统中相机坐标系到世界坐标系的转换，然后确定特征点的三维坐标，最后确定非线性优化所需要的初速度、陀螺仪的零偏，以及重力方向。

6.如权利要求1或2所述的基于强化学习的桥梁检测无人机自主导航与稳定控制方法，其特征在于，所述步骤四的具体方法为：基于桥梁桥底的实时风场估计，桥检无人机控制系统内环采用自抗扰算法进行姿态控制，外环采用PID方法进行位置控制，实现强风场干扰下的快速稳定控制。