[发明专利]飞行器控制方法、装置、设备及计算机可读存储介质

权利要求书

1.一种飞行器控制方法，其特征在于，包括：

通过传递函数结合飞行器的法向过载、俯仰舵偏角和特征参数，确定法向过载到俯仰舵偏角的第一传递函数，所述第一传递函数表示为；

通过所述传递函数结合所述飞行器的俯仰角速度、俯仰舵偏角和特征参数，确定俯仰角速度到俯仰舵偏角的第二传递函数，所述第二传递函数表示为；

通过所述传递函数结合所述飞行器的攻角、俯仰舵偏角和特征参数，确定攻角到俯仰舵偏角的第三传递函数，所述第三传递函数表示为；

将所述第一传递函数、所述第二传递函数和所述第三传递函数进行组合，构建所述飞行器模型；

通过所述飞行器的法向过载、俯仰角速度、攻角、俯仰舵偏角和特征参数设置奖励函数，所述奖励函数表示为，其中，立即奖励，为实际过载与指令的偏差，立即奖励表示当控制效果与实际效果的偏差较大时，则输出一个较大的惩罚；当控制效果与实际效果的偏差较小时，则输出一个几乎为零的惩罚；用于约束控制输入的能量；稀疏奖励表示若过载偏差大于0.1且小于0.5时，取1；若过载偏差小于0.1时，取5；其余情况都取0；表示系统的过载偏差大于100或小于-100时，则结束本次探索，输出=-500；

根据所述飞行器模型中的模型参数，确定飞行器的观测量数据和智能体动作数据；

基于所述观测量数据或/和所述智能体动作数据，对actor网络和critic网络进行训练，输出确定性策略和动作值函数；

通过深度确定性策略梯度算法，对所述确定性策略中的actor网络参数和所述动作值函数中的critic网络参数进行更新，得到最优actor网络和最优critic网络；

基于所述最优actor网络和所述最优critic网络构建在线控制器，通过所述在线控制器对所述飞行器进行控制；

通过辅助控制器辅助actor网络和critic网络的训练，其中，辅助控制器为比例控制器，比例控制器的增益系数为；

通过指令、所述辅助控制器、所述俯仰舵偏角、所述法向过载、飞行动作及当前环境确定到达稳态时，actor网络输出的俯仰舵偏角为零。

2.根据权利要求1所述的飞行器控制方法，其特征在于，所述深度确定性策略梯度算法包括actor当前网络和actor目标网络，

通过深度确定性策略梯度算法对所述确定性策略中的actor网络参数进行更新，得到最优actor网络，包括：

通过所述actor当前网络对所述确定性策略中的初始actor网络参数进行更新，以及根据当前状态选择当前动作与当前环境进行交互，生成下一步状态，并将所述下一步状态传输至经验回放池中；

通过所述actor目标网络在所述经验回放池中获取所述下一步状态，以及根据所述下一步状态选择最优下一动作，计算出目标actor网络参数；

通过所述actor目标网络根据所述初始actor网络参数、所述目标actor网络参数和惯性更新率，确定最新actor网络参数，以及通过所述最新actor网络参数更新所述目标actor网络参数，得到所述最优actor网络。

3.根据权利要求1所述的飞行器控制方法，其特征在于，所述深度确定性策略梯度算法包括critic当前网络和critic目标网络，

通过深度确定性策略梯度算法对所述动作值函数中的critic网络参数进行更新，得到最优critic网络，包括：

通过所述critic当前网络对所述动作值函数中的初始critic网络参数进行更新，计算出当前动作的函数值，以及根据所述当前动作的函数值构建待处理动作值函数；

通过所述critic目标网络对所述待处理动作值函数进行估计，得到目标critic网络参数；

通过所述critic目标网络根据所述初始critic网络参数、所述目标critic网络参数和惯性更新率，确定最新critic网络参数，以及通过所述最新critic网络参数更新所述目标critic网络参数，得到所述最优critic网络。