[发明专利]一种基于深度强化学习的固定翼无人机群集控制方法

说明书

本发明公开了一种基于深度强化学习的固定翼无人机群集控制方法，其步骤包括：步骤S1、离线训练阶段：建立随机无人机动力学模型，基于竞争双重Q网络的Q函数评估之后，进行动作选择；所述竞争双重Q网络为D3QN网络；步骤S2、在线执行阶段：构建竞争双重Q网络，并载入训练好的网络模型，所述网络模型和动作选择策略运行在僚机的机载电脑上，长机滚转动作由操控员给出，长机和僚机的自驾仪分别根据各自的滚转动作，直至完成飞行任务。本发明具有较强的实时性和适应性，能够将仿真中训练得到的策略迁移到真实环境等优点。

技术领域

本发明主要涉及到无人机技术领域，特指一种基于深度强化学习的固定翼无人机群集控制方法。

背景技术

近年来，随着传感器技术、通信技术以及智能控制技术的不断发展，无人机技术取得了长足的进步。固定翼无人机具有飞行速度快、续航能力强和有效载荷大等特点，在灾难搜救、边境巡逻、反恐等领域得到了广泛的应用。由于单架无人机性能的不足，上述任务通常需要多架无人机协同配合方能高效完成。然而，操控多架固定翼无人机需要大量的人力来监控每架飞机的状态，协调多架无人机遂行任务仍面临一定的挑战。

“一致性理论”被广泛用于解决无人机的群集控制问题。但该类方法依赖于平台和扰动的精确模型。这一模型通常具有复杂、时变、非线性的特点，加之传感器误差、环境扰动等随机因素的影响，往往难以精确建模，这严重限制了该类方法在真实世界的适用性。作为代替，应用强化学习方法解决上述矛盾得到了越来越多的关注。

目前，现有基于强化学习的群集控制解决方案主要针对旋翼无人机。与旋翼机相比，由于固定翼无人机的飞行动力学的非完整约束，固定翼无人机群集控制更加复杂，将强化学习算法应用于固定翼无人机协群集控制中的研究成果仍然较少。

发明内容

本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种具有较强的实时性和适应性，能够将仿真中训练得到的策略迁移到真实环境中的基于深度强化学习的固定翼无人机群集控制方法。

为解决上述技术问题，本发明采用以下技术方案：

一种基于深度强化学习的固定翼无人机群集控制方法，其步骤包括：

步骤S1、离线训练阶段：建立随机无人机动力学模型，基于竞争双重Q网络的Q函数评估之后，进行动作选择；所述竞争双重Q网络为D3QN网络；

步骤S2、在线执行阶段：构建竞争双重Q网络，并载入训练好的网络模型，所述网络模型和动作选择策略运行在僚机的机载电脑上，长机滚转动作由操控员给出，长机和僚机的自驾仪分别根据各自的滚转动作，直至完成飞行任务。

作为本发明的进一步改进：所述离线训练阶段包括如下步骤：

步骤S11、建立随机无人机动力学模型；考虑无人机在恒定高度飞行，动力学模型用简化的四自由度模型描述；在滚转、空速等各个子状态引入随机性，建立随机无人机动力学模型；

步骤S12、基于竞争双重Q网络的Q函数评估；

步骤S13、动作选择；在离线训练阶段，所述动作选择策略使用结合示范教学的ε-greedy策略；即僚机以ε的概率选择最小Q值对应的动作，以1-ε的概率模仿长机动作；所述动作集合为无人机滚转角的变化量，即{+15°，0，-15°}。

作为本发明的进一步改进：所述步骤S12包括：

步骤S121、构建D3QN的主网络和目标网络，并随机初始化网络参数；

步骤S122、在与环境的不断交互中更新网络参数。

作为本发明的进一步改进：所述步骤S122包括：