[发明专利]飞行器控制方法、装置、设备及计算机可读存储介质

说明书

本申请提供一种飞行器控制方法、装置、设备及计算机程序产品，该方法包括：根据飞行器模型中的模型参数，确定飞行器的观测量数据和智能体动作数据；基于观测量数据或/和智能体动作数据，对actor网络和critic网络进行训练，输出确定性策略和动作值函数；通过深度确定性策略梯度算法对actor网络参数和critic网络参数进行更新，得到最优actor网络和最优critic网络；基于最优actor网络和最优critic网络构建在线控制器，通过在线控制器对飞行器进行控制。本申请实施例提供的飞行器控制方法通过深度确定性策略梯度算法离线训练在线控制器，使得在线控制器具有良好的适应性和鲁棒性，实现飞行器精准控制。

技术领域

本申请涉及飞行器控制技术领域，尤其涉及一种飞行器控制方法、装置、设备及计算机可读存储介质。

背景技术

飞行器一般飞行包络范围大，速度较快，飞行高度范围广，导致与飞行状态相关的动力学系数在飞行过程中剧烈变化。工程实践中，一般利用经典频域控制器实现飞行器的控制。该方法虽然能在一定程度上满足实际应用的要求，但存在很多显而易见的缺点：一是需要对飞行器进行精准建模才能设计良好的控制器，在存在模型不确定性下保证系统的稳定性和动态性能的能力较差；二是当飞行器的状态随飞行时间变化时，经典频域控制器需要进行大量的插值计算，对机上存储空间要求较高。此外，飞行包线的扩大进一步使得飞行过程中的飞行环境变得更加复杂多变，不确定因素众多，为飞行器的精准控制带来很大困难。

发明内容

本申请提供一种飞行器控制方法、装置、设备及计算机程序产品，旨在实现对飞行器精准控制。

第一方面，本申请提供一种飞行器控制方法，包括：

根据飞行器模型中的模型参数，确定飞行器的观测量数据和智能体动作数据；

基于所述观测量数据或/和所述智能体动作数据，对actor网络和critic网络进行训练，输出确定性策略和动作值函数；

通过深度确定性策略梯度算法，对所述确定性策略中的actor网络参数和所述动作值函数中的critic网络参数进行更新，得到最优actor网络和最优critic网络；

基于所述最优actor网络和所述最优critic网络构建在线控制器，通过所述在线控制器对所述飞行器进行控制。

在一实施例中，所述深度确定性策略梯度算法包括actor当前网络和actor目标网络，

通过深度确定性策略梯度算法对所述确定性策略中的actor网络参数进行更新，得到最优actor网络，包括：

通过所述actor当前网络对所述确定性策略中的初始actor网络参数进行更新，以及根据当前状态选择当前动作与当前环境进行交互，生成下一步状态，并将所述下一步状态传输至经验回放池中；

通过所述actor目标网络在所述经验回放池中获取所述下一步状态，以及根据所述下一步状态选择最优下一动作，计算出目标actor网络参数；

通过所述actor目标网络根据所述初始actor网络参数、所述目标actor网络参数和惯性更新率，确定最新actor网络参数，以及通过所述最新actor网络参数更新所述目标actor网络参数，得到所述最优actor网络。

所述深度确定性策略梯度算法包括critic当前网络和critic目标网络，

通过深度确定性策略梯度算法对所述动作值函数中的critic网络参数进行更新，得到最优critic网络，包括：

通过所述critic当前网络对所述动作值函数中的初始critic网络参数进行更新，计算出当前动作的函数值，以及根据所述当前动作的函数值构建待处理动作值函数；