[发明专利]一种游戏对象的控制方法、装置、介质以及设备

说明书

本申请公开了一种游戏对象的控制方法，包括：获取游戏对象参与游戏时的游戏图像，并判断游戏图像中是否存在游戏对象的对手对象；若否，将所述游戏图像输入第一策略模型，获取第一策略模型输出的动作概率向量，根据动作概率向量选择概率最大的动作作为目标动作，控制游戏对象执行目标动作以实现游戏内地图探索；若是，将游戏图像输入第二策略模型，获取所述第二策略模型输出的动作价值向量，根据所述动作价值向量选择价值最大的动作作为目标动作，控制所述游戏对象执行目标动作以实现与对手对象进行战斗。该方法中将游戏对象的控制分解为地图探索和战斗，缩减了训练时间，模型具有较好的性能。本申请还公开了一种装置、设备及介质。

技术领域

本申请涉及游戏人工智能技术领域，尤其涉及一种游戏对象的控制方法、装置、计算机存储介质以及设备。

背景技术

目前在游戏开发及应用中，很多场景下都会用到人工智能，称为游戏人工智能(Artificial Intelligence，AI)即游戏AI。例如，在游戏开发过程中，游戏AI可以替代测试人员的角色，通过游戏AI玩游戏获得测试数据，以实现游戏性能测试；再例如，在游戏应用过程中，游戏玩家在掉线或其他场景下，可以主动选择游戏AI自动处理。还有可能在游戏人数不够时，为了使得游戏能正常进行，也选择一些游戏AI来与真人进行游戏。

目前游戏AI主要有两种实现方案，一种是基于脚本的实现方案，其优点是实现简单，运算开销小，其缺点是行为模式死板，该方案只适合一些场景简单的游戏中，而在策略类游戏例如第一人称射击游戏(FPS)中，场景随机性很强，该方案无法适用。另一种是基于深度强化学习的实现方案，该方案主要是基于深度强化学习算法，通过在线训练单一的神经网络模型实现游戏AI，由于该模型只有在较多训练样本的情况下才会具有较好的性能，然而在线训练过程中样本数据的产生效率非常低，难以在短时间内获得较多的训练样本，如此导致游戏AI的性能较差。

发明内容

本申请实施例提供了一种游戏对象的控制方法，该方法基于模仿学习和深度强化学习并行学习所得模型实现游戏AI,极大节省了模型的训练时间，使得游戏AI针对场景随机性很强的游戏具有较好的性能。另外，本申请实施例还提供对应的装置、设备以及计算机存储介质。

有鉴于此，本申请一方面提供了一种游戏对象的控制方法，所述方法包括：

获取游戏对象参与游戏时的游戏图像，并判断所述游戏图像中是否存在所述游戏对象的对手对象；

若否，将所述游戏图像输入第一策略模型，获取所述第一策略模型输出的动作概率向量，根据所述动作概率向量选择概率最大的动作作为目标动作，控制所述游戏对象执行目标动作以实现游戏内地图探索；所述第一策略模型是利用模仿学习算法离线学习得到的深度神经网络模型；

若是，将所述游戏图像输入第二策略模型，获取所述第二策略模型输出的动作价值向量，根据所述动作价值向量选择价值最大的动作作为目标动作，控制所述游戏对象执行目标动作以实现与对手对象进行战斗；所述第二策略模型是利用深度强化学习算法在线学习得到的深度神经网络模型。

本申请一方面提供一种游戏对象的控制装置，所述装置包括：

判断模块，用于获取游戏对象参与游戏时的游戏图像，并判断所述游戏图像中是否存在所述游戏对象的对手对象；

探索模块，用于若否，将所述游戏图像输入第一策略模型，获取所述第一策略模型输出的动作概率向量，根据所述动作概率向量选择概率最大的动作作为目标动作，控制所述游戏对象执行目标动作以实现游戏内地图探索；所述第一策略模型是利用模仿学习算法离线学习得到的深度神经网络模型；

战斗模块，用于若是，将所述游戏图像输入第二策略模型，获取所述第二策略模型输出的动作价值向量，根据所述动作价值向量选择价值最大的动作作为目标动作，控制所述游戏对象执行目标动作以实现与对手对象进行战斗；所述第二策略模型是利用深度强化学习算法在线学习得到的深度神经网络模型。