[发明专利]基于强化学习的多弹协同攻击制导律设计方法

说明书

本发明提供了一种基于强化学习的多弹协同攻击制导律设计方法，该方法包括：步骤1，构造状态空间S＝[r₁…r_i…r_nξ₁…ξ_i…ξ_n]^T；步骤2，设计协同制导律并构造动作空间；步骤3，构造奖励函数步骤4，网络初始化；步骤5，对于训练中的每个步长，采用强化学习算法更新Critic网络Q(S,A)、Actor网络μ(S)、目标Critic网络Q′(S,A)和目标Actor网络μ(S′)，直到满足终止条件。应用本发明的技术方案，以解决现有技术中难以对多枚处于不同初始条件的导弹实现对某一目标的同时打击，多弹协同攻击通讯负担较重的问题。

技术领域

本发明涉及飞行器控制领域，具体而言，涉及基于强化学习的多弹协同攻击制导律设计方法。

背景技术

近年来，为提升打击效能，协同制导技术得到越来越多的关注。执行协同制导的多枚导弹可以看作是仅基于简单控制律即可相互协作以实现任务目标的多智能体系统。多枚导弹的协同作战在效能上要远远优于单个的高技术和高成本的飞行器。此外，多枚导弹构成的多智能体协同系统也会比单个飞行器具有更丰富的作战能力。其中，多枚处于不同初始条件的导弹实现对某一目标的同时打击是一个极具挑战的问题。

目前，多弹同时攻击的协同制导律可以分为两类。第一类是为协同制导系统指定期望的攻击时间。然而，为处于不同初始条件下的多枚导弹指定同一个攻击时间显然是有困难的。此外，各枚导弹间没有交互，一定程度上降低了多弹协同制导系统对环境的敏感性，甚至使任务失败。另一种方法是不为多弹协同制导系统中的每个导弹指定期望攻击时刻，而是由系统中的各枚导弹相互协调，进而对齐攻击时间，然而，该制导律要求每枚导弹都要有整个系统的全局信息，因而该方案是集中式控制，通讯负担较重。

发明内容

本发明的主要目的在于提供一种基于强化学习的多弹协同攻击制导律设计方法，以至少解决上述问题。

根据本发明的一方面，提供了一种基于强化学习的多弹协同攻击制导律设计方法，包括：

步骤1，构造状态空间S＝[r₁…r_i…r_nξ₁…ξ_i…ξ_n]^T；

其中，n为导弹数量，r_i为第i枚导弹和目标的相对距离，第i枚导弹估计剩余飞行时间的误差j≠i，第i枚导弹可以获取第j枚导弹的信息时a_ij＝1，第i枚导弹无法获取第j枚导弹的信息时a_ij＝0，为第i枚导弹的剩余飞行时间，为第j枚导弹的剩余飞行时间，为非线性函数；

步骤2，设计协同制导律并构造动作空间；

所述协同制导律结构为其中，a_Mi为第i枚导弹的加速度，为第i枚导弹的传统的比例导引律，为第i枚导弹的协同控制项；所述动作空间为制导律中的动作

步骤3，构造奖励函数

其中，r_i(0)为第i枚导弹和目标的初始相对距离，X₁取值范围为0.1至0.5， X₂取值范围为8至12，X₃取值范围为0.8至1.2，X₄取值范围为8至12，X₅取值范围为8至12，X₆取值范围为0.01至0.03；