[发明专利]用于3D应用的模型获取方法及装置、介质及计算设备

权利要求书

1.一种用于3D应用的模型获取方法，其特征在于包括：

将所述3D应用的待处理任务划分为多个子任务，其中，各个所述子任务之间是相互解耦的；

构建分层强化学习模型，所述分层强化学习模型包括管理者决策模型和多个工作者决策子模型，其中，所述多个工作者决策子模型与所述多个子任务之间一一对应；

分别独立地训练每个工作者决策子模型，确定每个工作者决策子模型的模型参数；以及

在固定所述多个工作者决策子模型的模型参数的情况下，训练所述管理者模型，以确定所述管理者模型的模型参数；

其中，所述管理者决策模型的输入中包括环境信息，每个工作者决策子模型的输入中包括对应的子环境信息；输入每个工作者决策子模型的对应的子环境信息由所述管理者决策模型从其对应的环境信息中分派；以及至少一个工作者决策子模型对应的子环境信息包括深度信息，以及至少一个工作者决策子模型对应的奖励函数是至少基于所述深度信息获得的，所述深度信息的值越高，所述奖励函数的值越高；所述深度信息的值越小，所述奖励函数的值越低；

其中，由所述管理者决策模型从对应的环境信息中分派对应的子环境信息给对应的工作者决策子模型的方式具体为：

通过环境感知模块计算出环境向量后，根据每个工作者决策子模型需要的子环境信息，由所述管理者决策模型从所述环境向量中分配出对应的子环境信息给对应的工作者决策子模型；

以及所述多个子任务包括导航子任务，所述多个工作者决策子模型包括与所述导航子任务对应的导航决策子模型；所述导航决策子模型采用注意力机制和时序卷积相结合的网络结构；所述导航决策子模型对应的子环境信息包括深度信息；

以及将玩家眼前的观测图像作为输入、将玩家是否正困在墙中的状态作为输出，利用玩家眼前的观测图像与玩家是否正困在墙中的状态之间的对应关系训练二分类器，以将所述二分类器的输出作为深度信息的估计；所述玩家是否正困在墙中的状态根据玩家速度确定；

以及在训练所述导航决策子模型时，针对玩家的每一步行为，若确定玩家困在墙中，令该玩家随机旋转第一角度；所述第一角度为90°～180°之间的任意角度。

2.根据权利要求1所述的用于3D应用的模型获取方法，其特征在于，训练所述管理者模型的步骤包括：

基于玩家眼前的观测图像、环境信息以及所述多个工作者决策子模型输出的子动作与所述管理者决策模型输出的动作之间的对应关系来训练所述管理者决策模型，以确定所述管理者决策模型的模型参数。

3.根据权利要求1所述的用于3D应用的模型获取方法，其特征在于，在训练所述管理者决策模型时，针对玩家的每一步行为，将当前步对应的玩家眼前的观测图像、当前步所述多个工作者决策子模型输出的子动作、过去预定数目步对应的环境信息和过去预定数目步所述管理者决策模型的动作作为所述管理者决策模型当前一步的输入。

4.根据权利要求1所述的用于3D应用的模型获取方法，其特征在于，分别独立地训练每个工作者决策子模型的步骤包括：

针对每个工作者决策子模型，基于玩家眼前的观测图像以及该工作者决策子模型对应的子环境信息与该工作者决策子模型输出的子动作之间的对应关系来训练该工作者决策子模型。

5.根据权利要求1所述的用于3D应用的模型获取方法，其特征在于，在训练所述导航决策子模型时，在所述导航决策子模型对应的奖励函数中考虑深度信息，使得：

玩家眼前的观测图像对应的深度信息的值越大，对应的奖励越高。

6.根据权利要求1-4中任一项所述的用于3D应用的模型获取方法，其特征在于，所述多个子任务包括射击子任务，所述多个工作者决策子模型包括与所述射击子任务对应的射击决策子模型。

7.根据权利要求6所述的用于3D应用的模型获取方法，其特征在于，所述射击决策子模型对应的子环境信息包括玩家眼前的观测图像内的敌人位置。

8.根据权利要求7所述的用于3D应用的模型获取方法，其特征在于，在训练所述射击决策子模型时，在所述射击决策子模型对应的奖励函数中使得：成功射击敌人的次数越多，奖励越高。