[发明专利]一种具有输入饱和受限的无人船强化学习自适应跟踪控制方法

权利要求书

1.一种具有输入饱和受限的无人船强化学习自适应跟踪控制方法，其特征在于，所述方法包括：

建立无人水面船数学模型，设定无人水面船的期望轨迹数学模型，包括：

定义北东坐标系OX₀Y₀Z₀和附体坐标系BXYZ两个坐标系；

将北东坐标系(OX₀Y₀Z₀)视作惯性坐标系，取地球任一点O为坐标原点，OX₀指向正北，OY₀指向正东，OZ₀指向地球球心；

将附体坐标系BXYZ视作非惯性坐标系，船舶左右对称时，取其中心为坐标原点B，BX轴沿着船舶中线指向船艏方向，BY轴垂直指向右舷，BZ轴沿XY平面垂直指向下；

对无人水面船进行建模，得到如下船舶运动控制数学模型：

其中，η＝[x,y,ψ]^T表示北东坐标系下的船舶位置向量，x、y表示无人水面船运动的北东位置，ψ∈[0,2π]表示艏摇角；R(ψ)表示地球坐标系和船体坐标系之间的转换矩阵；ν＝[u,v,r]^T表示附体坐标系下无人水面船运动的速度向量，u、v、r分别表示其纵荡速度、横荡速度、艏摇速度；τ′＝M^-1τ，τ＝[τ_u,τ_v,τ_r]^T表示船舶控制输入向量，τ_u、τ_v、τ_r分别表示纵荡控制力、横荡控制力、艏摇控制力；f(v)表示系统动态向量，f(v)＝-M^-1(C(v)v+D(v)v)，M(t)＝M^T(t)＞0表示包含附加质量的惯性矩阵，C(v)表示斜对称矩阵，D(v)表示阻尼矩阵；

设定无人水面船的期望轨迹数学模型如下：

其中，x_d＝[η_d^T,v_d^T]^T，η_d＝[x_d,y_d,ψ_d]^T和ν_d＝[u_d,v_d,r_d]^T分别是无人水面船跟踪的期望位置向量及速度向量；

基于设定的期望轨迹数学模型，引入控制器输入饱和函数；包括：

引入控制器输入饱和函数，其表达式如下：

其中，μ_i表示控制输入；τ_i,M是τ_i的界，τ_i表示具有饱和特性的控制输入；sat(μ_i)是μ_i的饱和函数；

将上述sat(μ_i)函数逼近为一个光滑的函数，如下表示：

则引入的控制器输入饱和函数最终表示如下：

sat(μ_i)＝J(μ_i)+ρ(μ_i)

其中，ρ(μ_i)表示有界函数，J(μ_i)表示饱和函数的逼近函数；

基于引入控制器输入饱和函数的期望轨迹数学模型，设计无人船控制率；包括：

构建成本函数，如下：

其中，t表示时间；γ表示折扣因子；z表示跟踪误差；e表示指数函数，η_e表示位置误差，η_e＝η-η_d，η表示船舶实际位置，η_d表示船舶参考位置；v_e表示速度误差，v_e＝v-v_d-h，v表示船舶实际速度，v_d表示船舶参考速度，h表示辅助变量，满足μ表示控制输入；

构建无人船轨迹跟踪动态，如下：

其中，R^T表示转换矩阵，f^T(η,v)表示系统动态向量，表示参考系统的动态向量；μ^*表示最优控制率；

定义最优成本函数，如下：

其中，r(e,μ^*)＝e^TΛ_ee+μ^*TΛ_μμ^*，Λ_e,Λ_μ均为正定矩阵；e^T表示误差的转置；

根据上述定义的最优成本函数，得到哈密尔顿-雅克比-贝尔曼方程，如下：

其中，表示成本函数的梯度；

得到无人船最优控制率，如下：

基于设计的无人船控制率，设计神经网络权重更新率；包括：

根据前馈神经网络的全局逼近特性，将最优代价函数表示为：

其中，表示评判器神经网络理想的权重向量，N表示神经元的个数，表示神经网络输入向量基函数，ε_c表示有界神经网络函数逼近误差；

设计所述最优成本函数的逼近函数，表示如下：

其中，表示的估计；表示神经网络输入向量基函数；

基于上述设计的逼近函数，得到哈密尔顿-雅克比-贝尔曼方程，如下：

则最优控制器为：

其中，表示的估计，通过梯度下降方法得到：

其中，Γ_c表示正定矩阵；

计算演员更新率其计算公式如下：

其中，k_a为常数，Γ_a为正定矩阵。