[发明专利]行为模型的训练方法、结构扩容模型的训练方法

说明书

本申请公开了一种行为模型的训练方法、结构扩容模型的训练方法、基于行为模型控制第一对象的方法、装置、电子设备及存储介质，属于计算机技术领域。该方法包括：通过结构扩容模型，对待扩容模型的模型结构进行扩容，得到行为模型的模型结构信息；获取与该模型结构信息相匹配的初始行为模型；对该初始行为模型进行训练，得到该行为模型，该行为模型控制该第一对象所执行行为的操作水平符合预期水平，且该预期水平高于该待扩容模型控制该第一对象所执行行为的操作水平。本申请利用结构扩容模型在低等级的行为模型基础上扩容得到高等级的行为模型，有利于逐级分层构建对应于不同操作水平的一系列行为模型。

技术领域

本申请涉及计算机技术领域，特别涉及一种行为模型的训练方法、结构扩容模型的训练方法、基于行为模型控制第一对象的方法、装置、电子设备及存储介质。

背景技术

随着计算机技术的发展和终端功能的多样化，能够在终端上进行的游戏种类越来越丰富，在游戏应用中涉及到一种不受玩家控制的、具有一定智能性的AI(ArtificialIntelligence，人工智能)对象，比如，AI对象是游戏中的智能NPC(Non-Player Character，非玩家角色)，能够面对不同的玩家做出人性化的响应，又比如，AI对象是游戏中的陪玩AI(AI Companion)，能够陪伴玩家控制的虚拟对象一起进行对局。目前，如何针对游戏领域中的AI对象，设计其行为模型逐渐成为一项研究热点。

发明内容

本申请实施例提供了一种行为模型的训练方法、结构扩容模型的训练方法、基于行为模型控制第一对象的方法、装置、电子设备及存储介质，能够利用结构扩容模型在低等级的行为模型基础上扩容得到高等级的行为模型，有利于逐级分层构建对应于不同操作水平的一系列行为模型。该技术方案如下：

一方面，提供了一种行为模型的训练方法，所述方法包括：

通过结构扩容模型，对待扩容模型的模型结构进行扩容，得到行为模型的模型结构信息，所述待扩容模型用于控制虚拟场景中的第一对象的行为；

获取与所述模型结构信息相匹配的初始行为模型；

对所述初始行为模型进行训练，得到所述行为模型，所述行为模型控制所述第一对象所执行行为的操作水平符合预期水平，且所述预期水平高于所述待扩容模型控制所述第一对象所执行行为的操作水平。

一方面，提供了一种结构扩容模型的训练方法，所述方法包括：

通过结构扩容模型，获取模型结构信息，所述模型结构信息用于表征行为模型的模型结构，所述行为模型用于控制虚拟场景中的第一对象的行为；

基于权重继承模型，获取与所述模型结构信息相匹配的行为模型，所述权重继承模型用于提供具有不同模型结构的行为模型的模型参数；

以所述结构扩容模型为智能体、所述权重继承模型为环境，对所述结构扩容模型进行强化训练，其中，所述强化训练的强化信号为所述行为模型的性能参数，所述性能参数用于表征所述行为模型控制所述第一对象所执行行为的操作水平。

一方面，提供了一种基于行为模型控制第一对象的方法，所述方法包括：

响应于目标账号的开局请求，获取所述目标账号的操作水平信息；

确定与所述操作水平信息对应的行为模型，其中，所述行为模型基于初始行为模型训练得到，所述初始行为模型的结构信息由经过强化训练的结构控制模型预测得到；

在基于所述开局请求开启的目标对局中，基于所述行为模型控制所述目标对局中第一对象的行为，其中，所述行为模型控制所述第一对象所执行行为的操作水平与所述目标账号的操作水平信息相匹配。

一方面，提供了一种行为模型的训练装置，所述装置包括：