[发明专利]用于在视频游戏中模仿玩家玩游戏的定制的模型

说明书

公开了以旨在模仿特定玩家将如何控制角色或实体的方式训练机器学习模型以控制视频游戏中的游戏中角色或其他实体的系统和方法。可以获得与特定玩家无关地训练的通用行为模型，并且然后基于所观察的特定玩家的玩游戏定制所述通用行为模型。定制训练过程可以包括冻结通用模型中的层或层次的至少一个子集，然后生成使用所述特定玩家的玩游戏数据训练的一个或多个附加的层或层次。

相关申请的交叉引用

本申请要求享有于2019年7月2日提交的第16/460,871号美国专利申请的权益，所述美国专利申请的全部内容据此通过引用并入本文。

背景技术

视频游戏常常包括玩家控制的角色和非玩家角色(NPC)二者。传统上玩家通过经由游戏控制器(诸如具有按钮的控制器、方向垫、操纵杆和/或其他物理控制机构)、键盘、鼠标、触摸屏或其他输入设备提供的命令来控制视频游戏中的他的或她的玩家控制的角色。多玩家游戏常常使得多个远程定位的玩家能够以协作的方式——诸如在同一团队、党派、氏族或其他分组上——一起玩。多玩家游戏可以附加地或替代地包括单独地或者作为团队与其他玩家竞争的玩家。

除了玩家控制的虚拟实体或角色之外，许多视频游戏还包括软件控制的虚拟实体或角色。在视频游戏中，这些软件控制的或以编程方式控制的角色有时可以被称为计算机玩家、网上机器人(bot)、人工智能(“AI”)单元、AI角色或非玩家角色(NPC)。NPC可以被编程为以对人类玩家显得逼真的方式响应于游戏中刺激(诸如涉及其他NPC或玩家控制的角色的游戏中动作或事件)。传统上，作为游戏开发过程的一部分，通常预先编程用于给定的NPC的行为。

发明内容

本公开内容的系统、方法和设备各自具有若干创新方面，其中没有一个方面单独担负本文所公开的所有期望属性。

在一些实施方案中，一种系统可以包括数据存储器，所述数据存储器存储与一个或多个视频游戏相关联的通用玩家行为模型，其中所述通用玩家行为模型被配置为提供待在多个玩游戏情形中的每个中执行的游戏中动作的指示。所述系统还可以包括计算系统，所述计算系统与所述数据存储器电子通信并且被配置为执行计算机可读指令，所述计算机可读指令将所述计算系统配置为：从所述数据存储器检索所述通用玩家行为模型，其中在检索之前已经基于一个或多个玩家的玩游戏数据而与第一玩家的玩游戏数据无关地训练了所述通用玩家行为模型，并且所述通用玩家行为模型是包括多个层的机器学习模型；获得所述第一玩家的玩游戏数据，其中该玩游戏数据标识在视频游戏中的多个游戏状态中的每个游戏状态下由所述第一玩家执行的游戏中动作；将所述通用玩家行为模型中的所述多个层的至少一个子集指定为待在与所述第一玩家相关联的定制模型中使用的冻结层；基于所述第一玩家的所述玩游戏数据生成用于所述定制模型的一个或多个定制层，其中所述一个或多个定制层至少部分地依赖于所述通用玩家行为模型的所述冻结层，以预测在至少一个或多个游戏状态下将由所述第一玩家执行的游戏中动作；以及存储与所述第一玩家相关联的经训练的定制模型，其中所述经训练的定制模型包括所述一个或多个定制层并且还包括或依赖于所述通用玩家行为模型的所述冻结层，其中所述经训练的定制模型被配置为接收关于所述视频游戏的游戏状态的数据作为输入并且输出待在所述视频游戏中执行的自动化动作。