[发明专利]一种飞行器姿态控制回路的Q学习自动调参方法

说明书

本发明公开了一种飞行器姿态控制回路的Q学习自动调参方法，包括：建立带有预设多种复杂非线性因素的飞行器姿态控制模型与姿态控制器结构；针对每一次飞行器姿态控制仿真实验结果，设计交互学习的环境状态、参数调整动作与学习奖励；根据每一次飞行器姿态控制仿真实验结果对应的交互学习环境状态、参数调整动作、学习奖励以及历史学习经验Q值，更新学习经验Q值；利用每一次飞行器仿真实验后更新的学习经验Q值，选择参数调节动作；根据选择的参数调节动作，执行飞行器姿态控制仿真实验；若实验结果达成结束条件，则输出控制器参数，否则更新学习经验Q值。本发明的方法，能够实现飞行器姿态控制参数自动调节。

技术领域

本发明属于飞行器姿态控制技术领域，涉及飞行器姿态控制器的参数调节领域，特别涉及一种飞行器姿态控制回路的Q学习自动调参方法。

背景技术

飞行器姿态角包括俯仰角、偏航角和滚转角，描述了飞行器与地面坐标系的相对姿态。飞行器姿态决定了飞行器的运动方向、飞行高度、飞行速度等物理状态。因此，姿态控制是飞行器控制中的核心环节。

飞行器姿态控制问题受到诸多未知的、非线性的因素影响，例如舵面控制输入饱和、姿态角量测噪声、未知的气动数据偏差、舵面控制输入延迟等。经过近几十年的研究，已有许多成熟的飞行器姿态控制器设计方法，包括定点线性化的比例-微分误差反馈控制方法、利用风动数据的动态逆控制方法、自抗扰控制方法、滑模控制方法等。然而，由于飞行器姿态控制问题中的诸多未知的、非线性的因素，并且不同飞行器的物理特性不同，导致这类未知非线性因素的影响不同。因此，针对特定的飞行器结构与气动数据，上述控制方法的控制器参数需要重新调节。这导致实际工程中需要耗费大量的人力与时间来重复参数调节过程。如何设计一种能够自动调节控制器参数的方法，节省飞行器姿态控制器参数调节的人力与时间成本，是飞行器控制工程中亟需解决的问题。

发明内容

本发明的目的在于提供一种飞行器姿态控制回路的Q学习自动调参方法，以解决上述存在的一个或多个技术问题。本发明的方法，能够实现飞行器姿态控制参数自动调节。

为达到上述目的，本发明采用以下技术方案：

本发明的一种飞行器姿态控制回路的Q学习自动调参方法，包括以下步骤：

步骤1，建立带有预设多种复杂非线性因素的飞行器姿态控制模型与姿态控制器结构；

步骤2，针对每一次飞行器姿态控制仿真实验结果，设计交互学习的环境状态、参数调整动作与学习奖励；

步骤3，根据每一次飞行器姿态控制仿真实验结果对应的交互学习环境状态、参数调整动作、学习奖励以及历史学习经验Q值，更新学习经验Q值；

步骤4，利用每一次飞行器仿真实验后更新的学习经验Q值，选择参数调节动作；

步骤5，根据步骤4选择的参数调节动作，执行飞行器姿态控制仿真实验；若实验结果达成结束条件，则输出控制器参数，否则，跳转至步骤3，更新学习经验Q值。

本发明的进一步改进在于，步骤1中，建立的带有多种复杂非线性因素的飞行器姿态控制模型表达式为：

其中，θ(t)∈R为飞行器在t时刻的姿态角，ω(t)∈R为飞行器在t时刻的姿态角速度，b(t)∈R为飞行器在t时刻的舵面效率，δ(t)∈R为飞行器在t时刻的舵面角度，f(θ(t),ω(t),δ(t))∈R为飞行器在t时刻受到的内部气动参数不确定性与外部风干扰，θ_m(t)∈R为飞行器在t时刻的姿态角测量值，τ∈R为飞行器姿态角测量值的延迟，n∈R为飞行器姿态角测量值的噪声，sat(δ(t))为飞行器舵面角度的饱和环节；

sat(δ(t))表达式为：