[发明专利]一种决策网络模型自博弈训练方法及系统

说明书

一种决策网络模型自博弈训练方法，包括如下步骤：步骤一、采用模拟退火算法对EN网络的初始网络参数进行变异，变异后得到红方EN网络和蓝方EN网络；步骤二、将步骤一中所述的红方EN网络和蓝方EN网络放入对抗环境进行博弈对抗，记录对抗关键节点的决策数据和EN值；步骤三、对步骤二中博弈对抗的胜利方的决策数据和EN值作为有效样本进行保存，将失败方的数据淘汰；步骤四、根据步骤三中的有效样本对EN网络进行训练，获得优化后的网络参数，将优化后的网络参数作为新的初始网络参数；步骤五、循环重复步骤一到步骤四，实现自博弈训练。本发明通过使用自博弈训练方法，可以形成层次化的AI决策智能体,为博弈指挥员提供高水平辅助决策支持。

技术领域

本发明涉及一种决策网络模型自博弈训练方法及系统，属于人工智能技术领域。

背景技术

近年来，人工智能技术发展迅速，在自主博弈方面取得了很大的进展，在棋牌类对抗、图像/语音识别、简单游戏对抗等领域已经达到或超过人类最高水平。而以美国为代表的军事强国在基于AI的装备作战指挥与对抗控制上投入了大量的研究经费。可以预见，人工智能将会在决策领域发挥越来越重要的作用，其中，智能化仿真推演可以有效提高指挥员的训练水平，采用智能辅助决策是未来发展的必然趋势。目前具有代表意义的训练方法有，AlphaGo Zero自博弈训练方法、误差反向传播学习算法、蒙特卡洛树搜索(MCTS)策略。

自博弈训练技术在围棋领域取得举了世瞩目的成果。DeepMind公司研发的AlphaGo Zero的主要技术就包括自我博弈，你中有我，我中有你，互相对抗，不断自我进化。

另外，误差反向传播学习算法(简称BP算法)为代表的监督学习训练方法已经成为了训练深度神经网络模型的标准流程。就网络的结构而言，深度神经网络与传统的人工神经网络相比具有了更多的隐藏层以及每层具有了更多的神经元个数。

蒙特卡洛树搜索(MCTS)策略，该策略只适用于类似围棋这样树形结构能够从多路径中随机选择一条路径的自博弈训练。

发明内容

本发明要解决的技术问题是：克服现有技术的不足，提供了一种决策网络模型自博弈训练方法及系统，采用自博弈训练方法，通过对单输出决策网络参数变异，在博弈迭代中有效提高参数的搜索效率，解决了智能决策中样本不足和博弈对抗中单输出类的问题。

本发明目的通过以下技术方案予以实现：

一种决策网络模型自博弈训练方法，包括如下步骤：

步骤一、采用模拟退火算法对EN网络的初始网络参数进行变异，变异后得到红方EN网络和蓝方EN网络；

步骤二、将步骤一中所述的红方EN网络和蓝方EN网络放入对抗环境进行博弈对抗，记录对抗关键节点的决策数据和EN值；

步骤三、对步骤二中博弈对抗的胜利方的决策数据和EN值作为有效样本进行保存，将失败方的数据淘汰；

步骤四、根据步骤三中的有效样本对EN网络进行训练，获得优化后的网络参数，将优化后的网络参数作为新的初始网络参数；

步骤五、循环重复步骤一到步骤四，实现自博弈训练。

上述决策网络模型自博弈训练方法，步骤二中所述对抗环境为非完备条件的对称博弈对抗场景。

上述决策网络模型自博弈训练方法，利用反向传播算法对步骤四中的有效样本进行学习，然后灌入EN网络进行训练。

上述决策网络模型自博弈训练方法，步骤一中所述采用模拟退火算法对初始网络参数进行变异，该初始网络参数的变异为随机变异。

上述决策网络模型自博弈训练方法，所述EN网络由多个EN子网络构成，每个EN子网络的特征输入为同类型，每个EN子网络的网络结构均相同。