[发明专利]面向未知策略对手的蒙特卡洛搜索博弈决策方法及系统

说明书

本发明公开了一种面向未知策略对手的蒙特卡洛搜索博弈决策方法及系统，其中，该方法包括以下步骤：根据空中格斗游戏规则，设计基于专家经验的状态评价函数，用来估计敌方与己方在对战局势中的态势状况；提出融合最大最小博弈思想的蒙特卡洛搜索算法，在面对未知决策方法的空战游戏对手时，输出博弈决策。本发明实施例的蒙特卡洛搜索博弈决策方法，借鉴最大最小博弈算法敌我双方交替决策的博弈策略思想，在不需要获悉对手博弈策略的前提下，可充分考虑对手决策的各种可能性，并做出相应的应对决策，提升对抗胜率。

技术领域

本发明涉及博弈决策技术领域，特别涉及一种一对一空战游戏环境下面向未知策略对手的博弈决策方法及系统。

背景技术

机器博弈是一门研究如何利用机器学习方法来解决对抗性决策问题的学科。随着人工智能技术的快速发展，机器博弈理论及相关应用已经深入到诸如政治、金融、军事等社会各个领域。例如由DeepMind在2016年以及2017年推出的AlphaGo和AlphaGo Zero系统，在围棋类博弈游戏中成功战胜人类高手玩家，这也预示着机器博弈学科有希望，也有能力在未来生活的多个环节中为人类提供辅助决策支持。

若以博弈过程中对手信息是否完全进行划分，博弈类问题可以大致归类为完美信息博弈以及不完美信息博弈，不完美信息条件下的博弈过程因为博弈信息的缺失增加了解决问题的难度，然而在实际应用中，由于各种主观以及客观的原因使得博弈信息的缺失成为常态，因此研究不完美信息的博弈过程更具有现实意义。

一对一空战游戏是一类典型的博弈决策类游戏，而对手策略未知的对抗环境也是该类游戏的常规设定，因此是一类很有代表性的不完美信息博弈算法实验平台。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种面向未知策略对手的蒙特卡洛搜索博弈决策方法，该方法在不需要获悉对手博弈策略的前提下，可充分考虑对手决策的各种可能性，并做出相应的应对决策，提升对抗胜率。

本发明的另一个目的在于提出一种面向未知策略对手的蒙特卡洛搜索博弈决策系统。

为达到上述目的，本发明一方面实施例提出了面向未知策略对手的蒙特卡洛搜索博弈决策方法，包括以下步骤：以在空战格斗游戏环境下敌我双方当前态势对后续对抗局势的影响以及敌我双方的物理约束因素作为参考标准，设计复合状态评价函数；通过所述复合状态评价函数从多个维度描述对抗进展中敌我双方态势的变化情况；根据所述变化情况通过融合最大最小博弈思想的蒙特卡洛搜索算法，在面对未知决策方法的空战游戏对手时，输出博弈决策。

本发明实施例的面向未知策略对手的蒙特卡洛搜索博弈决策方法，通过最大最小博弈算法敌我双方交替决策的博弈策略思想，提出在己方决策轮选取己方评价体系中得到置信度上界最大的动作，在敌方决策轮选取敌方评价体系中得到置信度上界最大的动作，从而在不需要获悉对手博弈策略的前提下，可充分考虑对手决策的各种可能性，并做出相应的应对决策，提升对抗胜率。

另外，根据本发明上述实施例的面向未知策略对手的蒙特卡洛搜索博弈决策方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述复合状态评价函包含即时回报项、持续回报项与物理关系合理性约束项。

进一步地，在本发明的一个实施例中，所述持续回报项包括：以敌我双方的态势优劣持续时间为依据计算回报，我方优或劣态势持续时间越久，对与我方态势评价函数的奖励/惩罚值越大。

进一步地，在本发明的一个实施例中，还包括：在己方决策轮选取己方评价体系中得到置信度上界最大的动作，在敌方决策轮选取敌方评价体系中得到置信度上界最大的动作。