[发明专利]基于强化学习的四旋翼无人机悬挂空运系统轨迹规划方法

权利要求书

1.一种基于强化学习的四旋翼无人机悬挂空运系统轨迹规划方法，其特征在于，该方法具体包括以下步骤：

步骤1，建立四旋翼无人机悬挂空运系统的动力学模型，表达式如下：

其中，q(t)＝[y(t)，z(t)，γ(t)]^T∈R³表示系统状态向量，y(t)，z(t)分别表示四旋翼无人机y，z方向的位移，γ(t)表示悬挂负载的摆角，分别表示整个系统的惯性矩阵、向心力矩阵以及重力向量，d(t)＝[d₁(t)，d₂(t)，d_γ(t)]^T∈R³表示飞行过程中四旋翼无人机悬挂空运系统所受到的未知外界扰动；d₁(t)，d₂(t)，d_γ(t)表示未知外界扰动在y，z，γ三个方向的分量，R表示实数域；对式(1)进行展开，得到表达式如下：

其中，m_q为四旋翼无人机质量 ，m_p为悬挂负载质量，l为悬绳长度，g为重力加速度，u(t)＝[u_y(t)，u_z(t)]^T∈R²为四旋翼无人机随时间变化的升力向量，为控制输入；μ_y(t)，μ_z(t)分别为四旋翼无人机总升力在y、z方向的分量，进而得到关于悬挂负载的摆角，表达式如下：

其中，d_γ为悬挂负载在飞行过程中所受的未知外界扰动；

步骤2，进行飞行轨迹规划设计，将四旋翼无人机期望轨迹的加速度分为以下两个部分：

步骤2-1、采用基于执行网-评价网形式的强化学习方法设计期望轨迹的抗扰轨迹：选取作为等效状态向量，将式(3)整理为非线性仿射系统，具体形式如下：

其中，

为非线性仿射系统的等效输入；

构造状态值函数J(η)作为系统的性能指标函数，表达式如下：

其中，Q，R为对称的正常数矩阵；

为实现在整个飞行过程中抑制负载的摆动，根据最优控制原理，针对式(5)需要实现最优的反馈控制状态，以及针对式(6)实现最小化性能指标函数，式(6)的无穷小形式满足如下非线性Lyapunov方程：

其中，为式(6)中的J(η)对η求一阶偏导数；

定义哈密尔顿函数如下：

最优状态值函数J^*(η)定义为：

则当输入为最优时，如下HJB方程成立

假定存在且唯一，此时，最优输入μ^*满足下式：

将该最优控制策略代入到式(7)，得到关于的HJB方程为：

通过求解式(12)得到轨迹规划的最优生成策略，采用执行网-评价网网络结构实现最优轨迹的逼近，得到最优状态值函数J(η)表示如下：

其中，W_c为评价网理想权重矩阵，ε_c(η)为神经网络近似误差，为等效状态向量，σ(η)为激励函数，选取双曲正切函数tanh(·)为神经网络激励函数；

分别使用评价网络和执行网络逼近最优值函数和最优控制策略获得状态值函数的最优解表达式如下

其中，与均为W_c的估计值，

定义Bellman误差变量e(t)如下：

定义以下误差函数

通过对误差函数与的迭代使得残差的平方最小；采用梯度下降法得到评价网络输出权重更新律为：

其中，α₁为正常数，

定义且满足||β₂||≤β_2M，β_3m≤||β₃||≤β_3M；执行网络输出权重更新律为：

其中，a₂为正常数，T_a为正定矩阵；

为保证的有界性，式(20)中投影算子proj(·)定义如下：

其中，为矩阵中的元素，与w_ij分别表示的上界和下界；

步骤2-2、设计定位轨迹：

设计四旋翼无人机期望轨迹的加速度如下：

其中，为相关参数；

式(22)中，定位轨迹部分用于保证四旋翼无人机准确到达目标位置，因此定位轨迹的选取应满足如下条件：

①定位轨迹在有限时间收敛到目标位置，目标位置表示为：

y_t(t)，z_t(t)为定位轨迹坐标，p_ty、p_tz为目标位置坐标，t→t_f表示在有限时间内；

②定位轨迹满足以下条件：

其中，k_vy，k_ay，k_jy，k_vz，k_az，k_jz∈R⁺为定位轨迹的相关参数，分别为设计的上界；

③设计定位轨迹的初始值为：

步骤3、当期望轨迹如式(22)所示形式，且其评价网与执行网的更新律满足式(19)与式(20)时能够保证四旋翼无人机位置、速度、负载摆角以及摆角角速度收敛到一定区域内，从而通过设计执行网-评价网的神经网络分别对最优策略、最优状态值函数进行逼近。