[发明专利]一种基于深度强化学习的对抗仿真推演方法

权利要求书

1.一种基于深度强化学习的对抗仿真推演方法，其特征在于，该方法包括以下步骤：

在对抗终端进行人机操作和机器自主学习操作，通过人-机对抗训练生成训练样本数据、机-机对抗训练生成大量训练样本数据，通过深度卷积神经网络生成单智能体的奖励值；

深度卷积神经网络将多个单智能体的状态和所述奖励值生成多智能体联合状态和联合奖励值，输入深度强化学习模型，所述深度强化学习模型输出联合决策行动，生成多智能体人-机、机-机对抗决策；

将所述多智能体人-机、机-机对抗决策反馈输入深度强化学习模型，实现无监督的自我学习；

其中，所述深度强化学习模型输出联合决策行动，生成多智能体对抗决策，其具体步骤为：

深度卷积神经网络的输入数据包括人-机对抗的图片数据、机-机对抗的图片数据，输出为所述多智能体联合奖励值{r₁，r₂，...，r_n}，其中n为智能体数目；

在单个智能体中，定义最优化的值函数Q^*(s，α)为：

其中s′是下一时刻的状态；定义一个四元组(s，α，r，s′)，包含当前时刻的状态s，系统执行的决策行动α，系统在执行决策行动α后获取到的奖励值r＝R(s，α)，所述奖励值r由深度卷积神经网络获得，和下一时刻的状态s′，λ为Q^*(s，α)的权值，其中所述状态s，决策行动α，在不同状态和动作下的Q^π(s，α)值，π为状态s和决策行动α的集合，A为决策行动α的集合，即所述联合决策行动；

在多智能体中，获取联合决策行动最优下的Q值：

多智能体有A_s种组合的动作，在这A_s中组合中选择最优的Q值；

当某状态下的Q值越大时，则说明该联合决策行动最佳，即生成所述多智能体对抗决策；

所述深度卷积神经网络输出的奖励值{r₁，r₂，...，r_n}在无监督的自我学习中完成，以机器的自我学习标记代替人工标记，机器的自我学习标记的步骤如下：

对于每次的联合决策行动{α₁，α₂，...，α_n}下得到相应的多智能体态势图，把所述多智能体态势图输入到深度卷积神经网络中，输出下一步的联合决策行动{α′₁，α′₂，...，α′_n}和最优的效能评估；

计算机自动标记下一步联合决策行动{α′₁，α′₂，...，α′_n}的效能评估，在下一步的联合决策行动{α′₁，α′₂，...，α′_n}的态势图中，采用多智能体在已有规则下进行Alpha-Beta搜索打击下的最终效能评估D^π(s，α)，获取最优状态和动作下的效能评估

当D^*(s，α)最大时，对应的下一步电子假想对抗方的运动就为α′，当己方同时执行动作后更新电子假想对抗方的状态s′，以达到每步最优的目的。

2.根据权利要求1所述基于深度强化学习的对抗仿真推演方法，其特征在于，所述通过多智能体对抗决策反馈训练深度强化学习模型，将每次的人-机对抗、机-机对抗过程的多智能体决策都用于深度强化学习的模型训练，生成大量的对抗样本，实现多智能体的无监督学习。

3.根据权利要求2所述基于深度强化学习的对抗仿真推演方法，其特征在于，所述已有规则是对抗仿真平台中对抗双方的单智能体对抗规则，包括武器击中目标的概率、损失程度、智能单元的运动速度、转弯半径。

4.根据权利要求3所述基于深度强化学习的对抗仿真推演方法，其特征在于，所述效能评估根据人工标记或用计算机自动标记。

5.根据权利要求1所述基于深度强化学习的对抗仿真推演方法，其特征在于，所述深度卷积神经网络的网络层为VGG16、GoogleNet、Incepetion、RestNet和EfficientNet网络之一。