[发明专利]一种基于强化学习算法与未知干扰观测器的多AUV编队分布式控制方法

权利要求书

1.一种基于强化学习算法与未知干扰观测器的多AUV编队分布式控制方法，其特征在于，包括以下步骤：

针对多AUV编队中的AUV，利用纵向和艏向的复合控制系统进行控制；AUV为自主水下机器人；

所述纵向和艏向的复合控制系统包括：基于纵向干扰观测器确定的纵向分布式控制器、基于艏向干扰观测器确定的艏向分布式控制器，以及Actor-Critic算法；

纵向干扰观测器与艏向干扰观测器分别如下：

纵向干扰观测器：

其中，e_ui(t)为纵向干扰观测器的全局观测误差；i表示第i个跟随者，j表示第j个跟随者；是对纵向速度u的估计，是对纵向干扰d_u的估计，a_u是控制项系数即τ_ui是推进器纵向推力；sat(e_ui,α,δ)是饱和函数；f_u0是AUV标称模型部分，根据动力学方程u、v、r分别为对应跟随者的纵向速度、横向速度、艏向角速度；β_u1、β_u2、α_u、δ_u为可调参数；a_ij表示第i个和第j个跟随者AUV间的通信权重，如果第i和第j个AUV间直接通信，则a_ij＝1，否则a_ij＝0；g_i表示第i个跟随者AUV与领航者AUV的通信权重，如果第i个跟随者与领航者直接通信，则g_i＝1，否则g_i＝0；

艏向干扰观测器：

其中，e_ψi(t)为艏向干扰观测器的全局观测误差；是对艏向角ψ_i的估计，是对艏向干扰d_ψ的估计；a_ψ是控制项系数即sat(e_ψi,α_ψ1,δ_ψ)、sat(e_ψi,α_ψ2,δ_ψ)是饱和函数，f_ψ0是系统标称模型部分β_ψ1、β_ψ2、β_ψ3、α_ψ1、α_ψ2、δ_ψ为可调参数；

所述基于纵向干扰观测器确定的纵向分布式控制器、基于艏向干扰观测器确定的艏向分布式控制器如下：

其中，k_u、k_ψ1、k_ψ2为控制增益；τ_u为推进器纵向推力；τ_r为转艏力矩，角标i表示AUV编队中第i个跟随者，所有角标i对应的参数为第i个跟随者的参数；带有上标∧的参数表示估计值，带有上标·的表示一阶导数，带有上标··的表示二阶导数；X,Y,Z为作用在AUV上外力的合力，X_u|u|、Y_v|v|、N_r|r|为粘性力项水动力系数，X_u、Y_v、N_r、为无量纲水动力参数；I_z为AUV绕运动坐标系z轴的转动惯量；m为水下机器人的质量；u_i、v_i、r_i、u_ri、分别为第i个跟随者的纵向速度、横向速度、艏向角速度、速度全局误差、速度全局误差导数、艏向角二阶导数、艏向角全局误差二阶导数；分别为纵向干扰估计值和艏向干扰估计值；z_1i＝η_ri-η_i、η_i第i个跟随者的状态，η_ri为第i个跟随者的全局状态误差，α_1i为虚拟控制量；

所述Actor-Critic算法用于确定控制增益k_u、k_ψ1、k_ψ2，Actor-Critic算法即强化学习算法，由Actor当前网络、Actor目标网络、Critic当前网络和Critic目标网络四个网络构成；Actor当前网络、Actor目标网络、Critic当前网络和Critic目标网络这四个神经网络都使用RBF神经网络。