[发明专利]基于强化学习的直升机系统控制方法、系统、装置及介质

权利要求书

1.一种基于强化学习的直升机系统控制方法，其特征在于，包括以下步骤：

构建直升机系统的非线性状态空间方程；

构建直升机系统的评价神经网络和执行神经网络，所述评价神经网络用于根据直升机系统的状态计算成本函数作为评价得分，所述执行神经网络用于根据所述评价得分执行相应的操作；

通过强化学习对所述评价神经网络和所述执行神经网络进行权重更新，得到训练好的评价神经网络和执行神经网络；

根据训练好的评价神经网络和执行神经网络以及所述非线性状态空间方程确定直升机系统的控制律，进而根据所述控制律对直升机系统进行控制；

所述构建直升机系统的非线性状态空间方程这一步骤，其具体包括：

根据拉格朗日力学模型建立直升机系统的非线性动力学方程如下：

其中，θ表示俯仰角，ψ表示偏航角，J_p表示俯仰运动的转动惯量，J_y表示偏航运动的转动惯量，D_p表示俯仰运动的摩擦系数，D_y表示偏航运动的摩擦系数，K_pp表示俯仰螺旋桨中作用于俯仰轴上的扭矩推力增益，K_py表示偏航螺旋桨中作用于俯仰轴上的扭矩推力增益，K_yp表示俯仰螺旋桨中作用于偏航轴上的扭矩推力增益，K_yy表示偏航螺旋桨中作用于偏航轴上的扭矩推力增益，m表示整机质量，L_cm表示质心到固定坐标系原点的距离；

对所述非线性动力学方程进行简化，得到直升机系统的非线性状态空间方程如下：

其中，x₁＝[θ，ψ]^T，f(x₁，x₂)表示非线性未知函数，g表示重力加速度，u＝[V_p，V_y]^T，V_p表示控制俯仰运动的电机电压输入，V_y表示控制偏航运动的电机电压输入；

构建直升机系统的评价神经网络这一步骤，其具体包括：

确定长期成本函数如下：

其中，ζ表示未来成本折扣系数且ζ＞0，I(t)表示瞬时成本函数；

确定瞬时成本函数如下：

I(t)＝(x-x_d)^TQ(x-x_d)+τ^TRτ

其中，x表示系统的状态量，x＝[x₁，x₂]^T，x_d表示期望跟踪轨迹，Q和R表示正定权重矩阵，τ表示系统的输入；

构建用于近似长期成本函数的评价神经网络如下：

其中，表示对长期成本函数J(t)的近似，表示评价神经网络的估计权重，H_c(Z_c)表示输入为跟踪误差Z_c的高斯径向基函数，Z_c＝x-x_d；

确定所述评价神经网络的权重更新率如下：

其中，表示评价神经网络的权重更新率，表示评价神经网络的权重，E_c表示评价神经网络的近似误差平方项，l_c表示评价神经网络的学习率；

构建直升机系统的评价神经网络这一步骤，其具体包括：

构建用于近似非线性未知函数的执行神经网络如下：

其中，表示对非线性未知函数f(x₁，x₂)的近似，表示执行神经网络的估计权重，H_a(Z_a)表示网络输入向量Z_a的高斯径向基函数，

确定所述执行神经网络的误差如下：

其中，δ_a表示近似非线性未知函数的近似误差，K_J表示评价神经网络对执行神经网络的影响程度参数，和J_d(t)分别表示长期成本函数的估计值与理想值；

确定所述执行神经网络的权重更新率如下：

其中，表示执行神经网络的权重更新率，表示执行神经网络的权重，E_a表示执行神经网络的近似误差平方项，l_a表示执行神经网络的学习率；

所述通过强化学习对所述评价神经网络和所述执行神经网络进行权重更新这一步骤，其具体为：

根据所述评价神经网络的权重更新率和所述执行神经网络的权重更新率，通过强化学习对所述评价神经网络和所述执行神经网络进行权重更新；

所述控制律的函数表示如下：

其中，u(t)表示直升机系统的控制向量，inv(g)表示对函数g(x₁)求逆，z₁和z₂表示跟踪误差，z₁＝x₁-x_d，z₂＝x₂-α₁，α₁表示反步法辅助变量，K₂为预设参数，表示α₁的导数。