[发明专利]游戏模型的数据处理方法、装置、电子设备及存储介质

说明书

本公开关于一种游戏模型的数据处理方法、装置、电子设备及存储介质，其通过获取设置在远端的游戏模拟器基于第一出牌模型的神经网络自我博弈产生的各角色对象的对局数据，并将各角色对象的对局数据输入与第一出牌模型的神经网络参数相同的第二出牌模型的神经网络，进而采用强化学习算法训练该第二出牌模型的神经网络，从而得到神经网络的参数更新后的目标出牌模型。由于本公开通过远端的游戏模拟器进行自我博弈以产生相应的对局数据作为训练数据，从而不需要依赖人类角色的数据和经验，通过强化学习算法训练神经网络，使得训练后的目标出牌模型能够提高出牌的准确性，且提高了模型的训练速度。

技术领域

本公开涉及计算机技术领域，尤其涉及一种游戏模型的数据处理方法、装置、电子设备及存储介质。

背景技术

随着电子、网络等技术的发展，网络游戏作为人们生活中的一种娱乐形式，已经成为人们生活中不可缺少的部分。例如斗地主、麻将等。而在斗地主游戏的过程中，出牌是最重要的一环，玩家出牌的好坏直接决定游戏中的胜负。而游戏中机器人出牌的好坏将会影响游戏中人类玩家的游戏体验。给人类玩家匹配上水平相当的机器人可以给玩家有趣的游戏体验。因此，出牌策略是斗地主智能决策中至关重要的部分。

相关技术中，一般采用基于监督学习的出牌策略，即根据线上产生的大量人类玩家的出牌数据，通过监督学习算法去模仿人类出牌。然而，由于其依赖于人类玩家的出牌数据，因此，性能很大程度上取决于数据的质量，从而导致训练出的策略很难超过人类水平，使得训练出的机器人对出牌控制的准确性较低。

发明内容

本公开提供一种游戏模型的数据处理方法、装置、电子设备及存储介质，以至少解决相关技术中机器人出牌准确性低的问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种游戏模型的数据处理方法，所述方法包括：

获取设置在远端的游戏模拟器自我博弈产生的对局数据，所述对局数据包括所述游戏模拟器基于第一出牌模型的神经网络自我博弈时各角色对象的状态数据、与所述状态数据对应的目标行为以及对局结果；

基于所述对局结果，将所述各角色对象的状态数据和与所述状态数据对应的目标行为输入与所述第一出牌模型的神经网络参数相同的第二出牌模型的神经网络，所述第一出牌模型的神经网络通过同步第二出牌模型的神经网络参数得到；

采用强化学习算法训练所述第二出牌模型的神经网络，得到神经网络的参数更新后的目标出牌模型。

在其中一个实施例中，所述获取设置在远端的游戏模拟器自我博弈产生的对局数据，包括：获取设置在远端的所述游戏模拟器基于第一出牌模型的神经网络自我博弈时对应目标角色对象的状态数据以及与所述状态数据对应的所有候选行为；基于游戏策略和状态数据，获取与所述状态数据对应的每一个候选行为的决策数据；根据每一个候选行为的决策数据确定与所述状态数据对应的目标行为；获取执行所述目标行为后的执行结果，直到游戏结束时获取所述游戏的对局结果。

在其中一个实施例中，在所述获取设置在远端的游戏模拟器自我博弈产生的对局数据之后，所述方法还包括：基于游戏中的不同角色对象，将所述对局数据存储在与各角色对象对应的缓冲区中；所述采用强化学习算法训练所述第二出牌模型的神经网络，得到神经网络的参数更新后的目标出牌模型，包括：基于各角色对象对应的缓冲区中的对局数据，采用强化学习算法并行训练各角色对象对应的第二出牌模型的神经网络，得到与各角色对象对应的神经网络的参数更新后的目标出牌模型。

在其中一个实施例中，所述基于各角色对象对应的缓冲区中的对局数据，采用强化学习算法并行训练各角色对象对应的第二出牌模型的神经网络，得到与各角色对象对应的神经网络的参数更新后的目标出牌模型，包括：当存在数据量达到设定值的缓冲区时，则基于所述数据量达到设定值的缓冲区中的对局数据，采用强化学习算法训练与所述缓冲区的角色对象对应的第二出牌模型的神经网络，得到对应角色对象的神经网络的参数更新后的目标出牌模型。