[发明专利]一种用于非对称对抗场景自博弈训练的对称场景嫁接方法

权利要求书

1.一种用于非对称对抗场景自博弈训练的对称场景嫁接方法，其特征在于步骤如下：

1)完成对称场景设计；

2)开展EN网络模型的设计；

3)在步骤2)的基础上，开展基于误差反向传播算法的参数训练；

4)在步骤3)的基础上，进行场景构建；

5)在完成1)～4)的基础上，开展对抗场景的新型EN网络模型训练及试验，完成嫁接后对称场景的评价与评估。

2.根据权利要求1所述的一种用于非对称对抗场景自博弈训练的对称场景嫁接方法，其特征在于：所述步骤1)的具体过程为：构建对称嫁接场景，在不缺失任何对抗特征的条件下，使不同装备武装的场景转换为对称场景；根据对航天领域装备对抗的理解和场景中各功能级模型开发过程中的经验以及不同装备武装的条件下人机对抗过程中的大量总结，从影响EN网络的众多因素中，包括舰船当前所处位置、舰船位置预判、发射阵地位置、血值、装弹量、双方距离，提取敌方舰船所处的位置以及血值两个主要因素作为EN网络输入，实现自博弈训练方法在航天装备对抗效能评估中的适应性改造和成功应用。

3.根据权利要求1所述的一种用于非对称对抗场景自博弈训练的对称场景嫁接方法，其特征在于：所述步骤2)的具体过程为：整个EN网由若干个子网构成{EN1，EN2，……，ENn}，每个EN子网拥有同类型的特征输入、相同的网络结构，各个子网的输出作为输入同样通过全连接结构相连，最终得到整个EN的输出。

4.根据权利要求3所述的一种用于非对称对抗场景自博弈训练的对称场景嫁接方法，其特征在于：所述步骤2)的具体过程为：EN网络采用两个子EN{EN1，EN2}构成，EN1的网络输入特征为五艘舰船的血值hp，网络为四层网络，其中隐藏层数为两层，输入hp特征参数为离散化空间{0，1，2，3，4，5，6}中的取值，输出为一维实数空间，代表由舰船血值决定的我方或敌方的力量强弱，当hp较高时EN1输出较大，随着hp的减小EN1逐渐减小；EN1网络第一个输入为旗舰的血值；

EN2的网络输入特征为五艘舰船的位置，即被探测状态Ship_Detect，其网络结构与EN1网络结构相同，EN2代表由舰船是否被探测到决定的我方或敌方的力量强弱，被探测状态于EN2的取值成反比关系，即当舰船未被探测到时EN2较大，随着舰船逐一被探测，EN2将逐渐减小。

整个EN由EN1和EN2构成，通过一个三层全连接网络构成，通过网络形成的EN自动调节EN1和EN2非线性关系，经过训练在对抗中达到更好的效果；对于胜利方拿到样本后需要训练两个EN网络：我方EN和地方EN，两个网络结构相同，但具体参数不同。

5.根据权利要求3所述的一种用于非对称对抗场景自博弈训练的对称场景嫁接方法，其特征在于：所述步骤4)中，场景构建采用模拟退火算法实现态势价值网络的变异。

6.根据权利要求4所述的一种用于非对称对抗场景自博弈训练的对称场景嫁接方法，其特征在于：所述步骤5)中EN训练循环步骤如下：

51)初态EN0根据网络模型从[-10,10]中随机选取网络参数记为W₀；

52)根据模拟退火算法初始温度t₀对W₀进行变异，生成两个变异价值网EN0A、EN0B，其参数记为W_0A、W_0B；

53)变异后的两个网络放入对抗系统进行100局自博弈对抗，将胜利方的样本作为有效样本保留，失败方的数据淘汰；

54)用100局的有效样本采用误差反向传播算法对EN0的网络参数W₀进行训练，训练后得到进化的网络EN1，对应的网络参数为W₁；

55)根据降温系数a＝0.5取新的温度，对EN1进行变异，变异后重复步骤53)，达到自博弈循环效果；

56)采用基于相同知识规则的AD和MD对EN网络进行博弈训练，对EN网络训练结果的试验通过人机对抗阶段测试体现。