[发明专利]游戏中虚拟对象的行为能力控制方法、装置及存储介质

说明书

本发明提供一种游戏中虚拟对象的行为能力控制方法、装置及存储介质，通过获取调节参数，其中调节参数包括动作延迟参数、高斯噪声参数和动作次优级别参数；获取与调节参数对应的控制数据；根据控制数据控制虚拟对象的行为能力。通过上述控制方法，实现对虚拟对象行为能力的灵活控制，增加了用户与虚拟对象交互的趣味性，避免基于经验硬编码的固化的虚拟对象较易或较难攻克的情况。

技术领域

本发明实施例涉及AI控制技术领域，尤其涉及一种游戏中虚拟对象的行为能力控制方法、装置及存储介质。

背景技术

强化学习是机器学习的一个子领域，介于有监督学习与无监督学习之间。其理论最初来源于心理学中的行为主义理论以及相关动物行为学研究的启发。主要是通过虚拟对象和其所处的环境之间的交互以及其从环境获得的收益来更新虚拟对象对环境的理解，从而产生更好的策略以提升虚拟对象从环境中获得的收益，经过不断训练，理论上虚拟对象可以逐渐产生出针对一个环境的最优策略。

强化学习方法目前在游戏中训练虚拟对象方面有着亮眼表现，和传统的游戏内置机器人的实现方法(决策树等)不同，强化学习方法更具有通用性，而且其性能更强并且可玩性更高。之所以选择游戏作为常用场景，是因为游戏场景不仅仅是对现实环境的一个模拟，更有着丰富的信息和较低难度的试错代价。Google旗下的DeepMind公司的一篇在著名杂志Nature上发表的关于深度强化学习基础算法DQN的论文就是在Atari游戏环境下开展的。经过多次训练，虚拟对象最终在玩游戏水平上超越了人类。当然，从概念上来讲，这种属于PVE(Player versus Environment，玩家对抗环境)游戏，即尽量按照人类去玩游戏的方式去让虚拟对象进行学习。其实无论是在PVE亦或是PVP(Player versus Player，玩家对抗玩家)游戏中，强化学习都没有去限定进行学习的对象，这个对象可以是类人的智能体，也可以是游戏内的AI，或者称之为Bot，目的都是通过强化学习这种方法，使得虚拟对象逐渐产生一个不错的策略可以最大化自己所获得的奖励。

然而，随着虚拟对象对环境的不断学习，其行为能力可能会越来越强，这样对于不以达到最强为目的游戏场景可能是不友好的。举例来说，在某个游戏中，虚拟对象(AI、Bot)的定位可能是既要有一定的挑战性还要有陪玩性，即需要将虚拟对象控制在一个难度区间内，使得玩家既不会觉得这AI太无趣又不会觉得AI太强。目前，尚未见到对强化学习训练的虚拟对象进行难度控制的方案。

发明内容

本发明提供的游戏中虚拟对象的行为能力控制方法、装置及存储介质，实现对不同场景模式虚拟对象的行为能力的灵活控制。

本发明的第一方面提供一种游戏中虚拟对象的行为能力控制方法，包括：

获取调节参数；所述调节参数包括以下至少一项：动作延迟参数、高斯噪声参数和动作次优级别参数；

获取与所述调节参数对应的控制数据；

根据所述控制数据控制所述虚拟对象的行为能力。

在一种可能的实现方式中，所述获取调节参数，包括：

获取不同场景模式中的调节参数；所述场景模式包括进攻模式和防守模式。

在一种可能的实现方式中，所述动作延迟参数包括动作延迟帧数或者忽略帧数；

所述高斯噪声参数包括高斯噪声的均值和/或高斯噪声的方差。

在一种可能的实现方式中，所述调节参数包括所述动作延迟参数，则所述获取与所述调节参数对应的控制数据，包括：

获取与所述动作延迟参数对应的对所述虚拟对象进行控制的延迟控制数据；所述控制数据包括所述延迟控制数据。

在一种可能的实现方式中，所述调节参数包括高斯噪声参数，则所述获取与所述调节参数对应的控制数据，包括：