[发明专利]无人直升机姿态运动有限时间收敛强化学习控制方法

权利要求书

1.一种无人直升机姿态运动有限时间收敛强化学习控制方法，其特征是，步骤如下：

步骤1)确定无人直升机的坐标系定义；

小型无人直升机坐标系定义涉及两个坐标系，惯性坐标系{I}＝{O_I,x_I,y_I,z_I}和机体坐标系{B}＝{O_B,x_B,y_B,z_B}，其中O_i(i＝I,B)表示坐标系原点，x_i、y_i、z_i(i＝I,B)分别对应坐标系三个主轴方向的单位矢量，各坐标系的定义均遵循右手定则，同时定义直升机姿态角在坐标系{I}下表示为η(t)＝[φ(t),θ(t),ψ(t)]^T，φ(t)、θ(t)、ψ(t)分别对应滚转角、俯仰角和偏航角，目标轨迹姿态角在坐标系{I}下表示为η_d(t)＝[φ_d(t),θ_d(t),ψ_d(t)]^T，φ_d(t)、θ_d(t)、ψ_d(t)分别对应目标旋转角、目标俯仰角和目标偏航角；

步骤2)确定无人直升机姿态动力学模型；

通过分析小型无人直升机作用原理，用拉格朗日方程来描述其姿态动力学模型为：

式(1)中M(η(t))代表惯性矩阵，代表科氏力矩阵，τ_d代表未知扰动向量，S(t)代表角速度变换矩阵，A、B代表旋翼动力学相关矩阵，D代表旋翼挥舞角动力学相关矩阵，δ(t)＝[δ_lat(t),δ_lon(t),δ_ped(t)]^T代表控制输入，δ_lat(t)代表横向周期变距，δ_lon(t)代表纵向周期变距，δ_ped(t)代表尾桨总距，角速度变换矩阵S(t)表示为：

为解决模型中的不确定性问题，将M(η(t))、B分别写为：

式(3)中M₀(η(t))、B₀分别为M(η(t))、B的最佳估计矩阵，M_Δ(η(t))、B_Δ为估计误差矩阵，为方便后续控制设计与分析，定义辅助函数Ω(t)＝S(t)^-TAD，将式(1)表示为：

式(4)中表示模型中存在的不确定性；

步骤3)定义姿态角跟踪误差和系统性能指标函数；

定义系统姿态跟踪误差e₁(t)及其线性滑模面e₂(t)为：

式(5)中，k＝diag{[k₁,k₂,k₃]^T}为对称正定增益矩阵；

为方便后续控制设计，定义如下状态值函数J(e₁(t))作为性能指标函数；

式(6)中，为执行控制力矩τ后产生的回报函数，τ＝Ω(t)^-1δ(t)，Q,R为正定对称常数矩阵，根据最优控制理论，定义哈密尔顿函数为如下形式：

步骤4)设计评价网络；

定义最优控制策略τ^*对应的最优状态值函数J^*(e₁(t))为：

利用如下神经网络来表示最优状态值函数J^*(e₁(t))：

式(9)中，W_c(t)为评价网络理想权重矩阵，选取双曲正切函数tanh(·)作为神经网络的激励函数，ε_c为评价网络逼近误差；

为实现对最优状态值函数的逼近，设计如下评价网络：

式(10)中，是对理想权重W_c(t)的估计，设计权重更新律为：

其中，a_c为评价网络的调节增益，为辅助变量，r为回报函数；

步骤5)设计执行网络；

对e₂(t)求一阶时间导数，并将式(4)代入整理，得到滤波误差的开环动态方程为：

式(12)中，为状态变量，辅助函数N(x)为模型不确定部分，表达式为：

利用如下神经网络来表示N(x)：

式(14)中，W_a(t)为执行网络理想权重矩阵，选取双曲正切函数tanh(·)作为神经网络的激励函数，ε_a为执行网络逼近误差；

设计执行网络来逼近不确定部分N(x)，表示为：

式(15)中，是对理想权重W_a(t)的估计，设计权重更新律为：

其中，a_a为执行网络的调节增益，k_z为网络增益参数；

步骤6)控制律设计；

根据以上分析，设计系统的控制输入δ(t)为：

式(17)中α＝diag{[α_φ,α_θ,α_ψ]^T}、β＝diag{[β_φ,β_θ,β_ψ]^T}为super twisting控制增益矩阵，sgn(·)为标准符号函数；

以上述控制律进行小型无人直升机的姿态控制，并且姿态跟踪误差能在有限时间收敛，收敛时间T_F的表达式为

式(18)中P、Q_s为稳定性分析过程中的对称正定矩阵，λ_max(P)为矩阵P的最大特征值，λ_min(Q_s)为矩阵Q_s的最小特征值，k_v、μ、ρ、为正常数，V(·)为稳定性分析中定义的Lyapunov候选函数，t₀为系统初始状态时刻。