[发明专利]一种基于DQN的多无人机协同区域监视的航路规划方法

权利要求书

1.一种基于DQN的多无人机协同区域监视的航路规划方法，其特征在于，所述方法包括如下步骤：

步骤1，设定无人机群的监视区域，所述无人机群包含N架无人机，每架无人机上设置一个机载雷达，N架无人机在同一高度匀速飞行，并设定每架无人机的监视半径R_max；

步骤2，确定每架无人机的最大速度偏转角θ_max，以及每架无人机的位置和速度更新表达式；

步骤3，建立深度神经网络包含N个全连接神经网络，一个全连接神经网络对应一架无人机的航路规划；

步骤4，确定每个全连接神经网络的目标值；

步骤5，训练每个全连接神经网络的网络参数，得到每个训练后的神经网络模型，从而根据所述每个训练后的神经网络模型确定对应无人机的航路规划结果；

步骤5具体包括如下子步骤：

(5a)设定无人机群的最大飞行步数，将无人机群的初始状态作为起始点，无人机群从起始点开始飞行达到最大飞行步数时作为一个飞行周期；

设定无人机群的初始状态，其中，表示第架无人机的初始状态行向量；

(5b)将所述无人机群的初始状态分别作为个全连接神经网络的输入，得到每个全连接神经网络的输出，所述每个全连接神经网络的输出为该全连接神经网络对应的无人机在下一时刻的M个动作估值；

(5c)对于每个全连接神经网络，从其输出的M个动作估值中选择动作估值最大值对应的动作更新该全连接神经网络对应的无人机的位置和速度，其中，所述动作为无人机飞往下一时刻过程中的速度偏转角；从而得到该无人机采取动作飞行到下一时刻后所述无人机群的总覆盖率，该全连接神经网络的奖赏函数值以及该无人机采取动作飞行到下一时刻后整个无人机群的状态，从而得到“状态-动作-回报-新状态”序列，将作为一个训练样本向量；其中，表示无人机群当前的状态，为某一无人机选择的动作，表示某一无人机选择动作后该无人机状态的改变造成整个无人机群状态变化为，表示无人机群下一状态的状态-动作值；

(5d)将无人机群的状态作为该无人机对应的目标神经网络的输入，得到对应无人机的M个输出值，所述M个输出值作为对应无人机的M个值，从而根据得到的值；

(5e)对于个全连接神经网络，通过子步骤(5c)和(5d)，共得到个训练样本向量，将架无人机分别飞行到下一时刻后的状态组成无人机群的最新状态，并将所述无人机群的最新状态替换子步骤(5b)中无人机群的初始状态；

(5f)重复执行子步骤(5b)至(5e)，直到无人机群飞行两个飞行周期，从而得到个训练样本向量，将所述个训练样本向量存储在样本表中；

(5g)根据样本表中存储的训练样本向量训练每个全连接神经网络的网络参数，得到每个训练后的神经网络模型。

2.根据权利要求1所述的一种基于DQN的多无人机协同区域监视的航路规划方法，其特征在于，步骤1中设定每架无人机的监视半径R_max具体为：

每架无人机的监视半径R_max为机载雷达的最大作用距离：

其中，P_t表示机载雷达系统峰值功率，G表示机载雷达天线增益，λ表示机载雷达电磁波波长，σ表示目标散射截面积，k表示波尔兹曼常数，T₀表示标准室温，B表示机载雷达接收机带宽，F表示机载雷达噪声系数，L表示机载雷达自身损耗，(S/N)_omin表示机载雷达的最小可检测门限，S为信号功率，N为噪声功率。