[发明专利]一种用于非对称对抗场景自博弈训练的对称场景嫁接方法

说明书

本发明一种用于非对称对抗场景自博弈训练的对称场景嫁接方法，为针对对待解决问题的非对称对抗场景的特点进行嫁接，完成对称场景设计。开展了EN网络模型的设计、基于误差反向传播算法的参数训练、用模拟退火算法代替MCTS进行网络模型变异；并完成对抗场景的新型网络模型训练及试验，完成嫁接后对称场景的评价与评估。

技术领域

本发明涉及一种对抗场景的对称场景嫁接方法，尤其涉及一种用于非对称对抗场景自博弈训练的方法。

背景技术

针对航天领域对抗装备在各型战役中的对抗效能需求，以AlphaGo自博弈训练方法为基础，创新性构建对称嫁接场景，在不缺失任何对抗特征的条件下，使不同装备武装的场景转换为对称场景。同时采用模拟退火算法代替AlphaGo Zero自博弈训练方法中蒙特卡洛搜索策略，实现了态势价值网络的变异，该算法能够在变异和对抗迭代的过程中自适应调整，直到得到最优参数。在航天领域装备对抗场景中，创新实现了对抗场景下自博弈训练样本的生成，解决了对抗场景效果评估缺乏数据的难题。

发明内容

本发明的技术解决问题：克服现有技术的不足，提供一种用于非对称对抗场景自博弈训练的对称场景嫁接方法，解决了对抗场景效果评估缺乏数据的难题。

本发明的技术方案是：一种用于非对称对抗场景自博弈训练的对称场景嫁接方法，步骤如下：

1)完成对称场景设计；

2)开展EN网络模型的设计；

3)在步骤2)的基础上，开展基于误差反向传播算法的参数训练；

4)在步骤3)的基础上，进行场景构建；

5)在完成1)～4)的基础上，开展对抗场景的新型EN网络模型训练及试验，完成嫁接后对称场景的评价与评估。

所述步骤1)的具体过程为：构建对称嫁接场景，在不缺失任何对抗特征的条件下，使不同装备武装的场景转换为对称场景；根据对航天领域装备对抗的理解和场景中各功能级模型开发过程中的经验以及不同装备武装的条件下人机对抗过程中的大量总结，从影响EN网络的众多因素中，包括舰船当前所处位置、舰船位置预判、发射阵地位置、血值、装弹量、双方距离，提取敌方舰船所处的位置以及血值两个主要因素作为EN网络输入，实现自博弈训练方法在航天装备对抗效能评估中的适应性改造和成功应用。

所述步骤2)的具体过程为：整个EN网由若干个子网构成{EN1，EN2，……，ENn}，每个EN子网拥有同类型的特征输入、相同的网络结构，各个子网的输出作为输入同样通过全连接结构相连，最终得到整个EN的输出。

所述步骤2)的具体过程为：EN网络采用两个子EN{EN1，EN2}构成，EN1的网络输入特征为五艘舰船的血值hp，网络为四层网络，其中隐藏层数为两层，输入hp特征参数为离散化空间{0，1，2，3，4，5，6}中的取值，输出为一维实数空间，代表由舰船血值决定的我方或敌方的力量强弱，当hp较高时EN1输出较大，随着hp的减小EN1逐渐减小；EN1网络第一个输入为旗舰的血值；

EN2的网络输入特征为五艘舰船的位置，即被探测状态Ship_Detect，其网络结构与EN1网络结构相同，EN2代表由舰船是否被探测到决定的我方或敌方的力量强弱，被探测状态于EN2的取值成反比关系，即当舰船未被探测到时EN2较大，随着舰船逐一被探测，EN2将逐渐减小。

整个EN由EN1和EN2构成，通过一个三层全连接网络构成，通过网络形成的EN自动调节EN1和EN2非线性关系，经过训练在对抗中达到更好的效果；对于胜利方拿到样本后需要训练两个EN网络：我方EN和地方EN，两个网络结构相同，但具体参数不同。

所述步骤4)中，场景构建采用模拟退火算法实现态势价值网络的变异。

所述步骤5)中EN训练循环步骤如下：