[发明专利]一种飞行器姿态控制回路的Q学习自动调参方法

权利要求书

1.一种飞行器姿态控制回路的Q学习自动调参方法，其特征在于，包括以下步骤：

步骤1，建立带有预设多种复杂非线性因素的飞行器姿态控制模型与姿态控制器结构；

步骤2，针对每一次飞行器姿态控制仿真实验结果，设计交互学习的环境状态、参数调整动作与学习奖励；

步骤3，根据每一次飞行器姿态控制仿真实验结果对应的交互学习环境状态、参数调整动作、学习奖励以及历史学习经验Q值，更新学习经验Q值；

步骤4，利用每一次飞行器仿真实验后更新的学习经验Q值，选择参数调节动作；

步骤5，根据步骤4选择的参数调节动作，执行飞行器姿态控制仿真实验；若实验结果达成结束条件，则输出控制器参数，否则，跳转至步骤3，更新学习经验Q值；

其中，步骤1中，建立的带有多种复杂非线性因素的飞行器姿态控制模型表达式为：

其中，θ(t)∈R为飞行器在t时刻的姿态角，ω(t)∈R为飞行器在t时刻的姿态角速度，b(t)∈R为飞行器在t时刻的舵面效率，δ(t)∈R为飞行器在t时刻的舵面角度，f(θ(t),ω(t),δ(t))∈R为飞行器在t时刻受到的内部气动参数不确定性与外部风干扰，θ_m(t)∈R为飞行器在t时刻的姿态角测量值，τ∈R为飞行器姿态角测量值的延迟，n∈R为飞行器姿态角测量值的噪声，sat(δ(t))为飞行器舵面角度的饱和环节；

sat(δ(t))表达式为：

其中，δ_max∈R为飞行器舵面角度上界约束，δ_min∈R为飞行器舵面角度下界约束；

步骤1中，设计的姿态控制器结构的整体表达式为：

δ(t)＝f_c(θ_m(t),θ_r(t),τ,δ_max,δ_min,λ)，

其中，δ(t)∈R为飞行器在t时刻的舵面角度，f_c(θ_m,θ_r,τ,δ_max,δ_min,λ)∈R为已设计的舵面角度控制量，θ_r(t)∈R为飞行器在t时刻的姿态角参考信号，λ∈R^l为姿态控制器的待调节参数向量，l∈R为姿态控制器的待调节参数个数；

步骤2中，设系统仿真实验运行时间区间为[0,T]，其中T∈R为单次飞行器姿态控制仿真实验运行结束时间；选取特征时间点其中i_t∈R为特征时间点的计数指标，N_t∈R为特征时间点的总个数，为特征时间点；

根据第k次的飞行器姿态控制仿真实验结果，设计交互学习的环境状态S(k)：

其中，k∈R为仿真实验次数计数指标，为第k次仿真实验对应的N_t维环境状态，为第k次仿真实验对应的第i_s维环境状态分量，i_s∈R为环境状态分量的计数指标，ε_θ∈R为可接受的姿态角跟踪误差范围；

设计的姿态控制器的待调节参数向量为λ＝[λ₁…λ_l]，共有l个待调节的分量；

设计2l+1个参数调整动作：

a动作i_a(1≤i_a≤l)：若i_λ≠i_a；

b动作i_a(l+1≤i_a≤2l)：若i_λ≠i_a-l；

c动作2l+1：λ(k+1)＝λ(k)；

其中，i_a∈R为参数调整动作计数指标，i_λ∈R为姿态控制器待调节参数计数指标，为第i_a个姿态控制器待调节参数的调整变化值；

第k次的飞行器姿态控制仿真实验结果对应的学习奖励设计为跟踪误差累积平方值的倒数：

步骤3中，学习经验Q值记为Q(S,act,k)，其中Q(S,act,k)∈R为环境状态S、参数调整行动act、第k次的飞行器姿态控制仿真实验时对应的学习经验Q值；

在第k次的飞行器姿态控制仿真实验结束时，已知第k-1次参数调整动作act(k-1)与第k-1次飞行器姿态控制仿真实验时对应的环境状态S(k-1)学习经验Q值Q(S,act,k-1)；根据步骤2，获得第k次环境状态S(k)与第k次学习奖励r(k)；

更新学习经验Q值的步骤包括：

若S＝S(k-1)且act＝act(k-1)，则

否则Q(S,act,k)＝Q(S,act,k-1),

其中，α_Q∈(0,1)为学习率，β_Q∈(0,1)为预期收益比重，最大值通过查询学习经验Q值Q(S(k),act,k-1)获得。