[发明专利]游戏人工智能系统及其性能提升系统及方法

说明书

本发明提供了一种游戏人工智能系统的性能提升方法，对多通道游戏数据使用深度并行计算框架计算节点初始值和返回信息估计；利用节点初始值形成树形结构，并填入节点初始值作为数据节点信息，然后将数据节点信息回传，更新各个数据节点保存的信息，输出最终优先度；对输入的多通道游戏数据，使用深度并行计算框架计算多通道游戏数据权重比例；对输入的多通道游戏数据，使用深度门网络模型获取权重比例，结合固定数据记录，计算两者的加权组合优先度。同时提供了一种用于执行上述方法的系统以及一种采用上述方法进行性能提升的游戏人工智能系统。本发明上有效提高了有限数据下系统的性能，并因其相对低功耗的特点，有利于普通企业或团队进行研制。

技术领域

本发明涉及采用计算机构建游戏人工智能系统技术领域，具体地，设计一种游戏人工智能系统及其性能提升方法，用以提高游戏对弈系统性能，是一种基于组合专家系统和深度并行计算框架的性能提升技术。

背景技术

采用计算机构建游戏人工智能系统，最初的技术主要专注于设计启发函数，例如国际象棋AI程序深蓝是由多名国际象棋高手设计特征，再由计算机程序员编写极大极小搜索程序得来。但这类做法有以下局限：(1)人类对游戏的认知有限，例如对于围棋等状态空间极大的任务，人类的领域知识极为有限，从而设计的启发函数也就不可靠；(2)极大极小搜索过于暴力，耗时巨大，效率低下，仅仅在国际象棋上超越人类，而无法在围棋类对弈上取得突破进展；(3)手工线性特征过于简单，无法适应复杂的围棋类对弈，也无法发挥现代高性能计算资源的优势。

随着深度并行计算框架，特别是深度卷积神经网络的发展，使得端到端的技术应用日益广泛。目前有一些将多通道游戏数据(例如棋盘)视为图像的方法出现，并取得了突破性的进展。卷积神经网络是适合处理图像的一类人工神经网络，多通道游戏数据的方格和局部模式属性使得它可以通过卷积神经网络来提取特征。例如深度Q学习用卷积神经网络代替表格模型，在Atari游戏上取得了较好的结果。对围棋类对弈智能系统来说，使用卷积神经网络代替人工特征，使得预测围棋类专家落子的准确率取得巨大提高。但上述方法不对环境建模，没有前向搜索的过程，随之带来的不稳定性是重要原因，如果引进在线的搜索技术，则可大大减少估值方差，从而提高系统的水平。

围棋类对弈智能系统的研发，是几十年来业界和学术界的研发焦点之一，它的人工智能程序研发极具挑战性。目前已有用神经网络对优先度和返回值进行建模的方法，但仍然是通过自我对弈进行抽样，虽然效果很好但极其消耗硬件资源。具体地，优先度-返回值是用残差模块建立的，接收围棋类棋盘表示作为输入，估计其下一步落子概率分布和胜率，它可以看作是一种快而强大的启发函数来指导蒙特卡洛树搜索。近两年有几家企业、团队沿用这种方法，研发出高水平的围棋类对弈人工智能程序，但都仅仅是简单复现，并未有理论或方法上的创新，且耗费硬件资源和时间巨大，普通研究者或个人无法承受。

机器学习手段可以用来训练、增强游戏人工智能系统。对围棋类对弈来说，可设计一个认知系统，用来初始化数据节点优先度，监督学习和强化学习都可以用于增强该认知系统。监督学习方法是用一个包含超过2000万个(多通道游戏数据-优先信息-返回值)三元组的数据集来训练优先度-返回值模型。强化学习是用自我对弈的方式产生大量数据用于增强系统，并且在迭代过程中产生更高质量的数据，而认知模块性能逐渐变强。

组合多个分类器或其他学习器是很经典的技术，且在很多领域如人脸识别、房价预测、肿瘤检测等取得了很好的效果，关于目前已有较多的理论研究。组合专家系统可以看作多个函数形式的专家的线性组合，组合的权重由一个门网络控制，且与输入有关。组合专家系统的参数(包括专家的参数和门网络的参数)可通过最大似然或其他损失函数学习。因此，专家系统和门网络的参数可以同时调整，也可以固定一个，优化另一个。不过，目前组合专家系统主要用于简单模型如浅层神经网络或线性分类器，尚未有用于棋类对弈系统、组合多个深度神经网络模型的组合专家系统出现。

目前没有发现同本发明类似技术的说明或报道，也尚未收集到国内外类似的资料。

发明内容