[发明专利]一种游戏对象的控制方法、装置、介质以及设备

权利要求书

1.一种游戏对象的控制方法，其特征在于，包括：

获取游戏对象参与游戏时的游戏图像，并判断所述游戏图像中是否存在所述游戏对象的对手对象；

若否，将所述游戏图像输入第一策略模型，获取所述第一策略模型输出的动作概率向量，根据所述动作概率向量选择概率最大的动作作为目标动作，控制所述游戏对象执行目标动作以实现游戏内地图探索；所述第一策略模型是利用模仿学习算法离线学习得到的深度神经网络模型；

若是，将所述游戏图像输入第二策略模型，获取所述第二策略模型输出的动作价值向量，根据所述动作价值向量选择价值最大的动作作为目标动作，控制所述游戏对象执行目标动作以实现与对手对象进行战斗；所述第二策略模型是利用深度强化学习算法在线学习得到的深度神经网络模型。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

从游戏玩家操作视频中提取样本以生成样本集，所述样本集中的每个样本包括帧图像与其对应的动作标签，所述动作标签标识游戏对象在游戏图像中实施的动作；

采用模仿学习算法根据所述样本集对初始深度神经网络模型进行训练，以得到满足训练结束条件的深度神经网络模型，作为所述第一策略模型。

3.根据权利要求2所述的方法，其特征在于，所述从游戏玩家操作视频中提取样本以生成样本集，包括：

利用图像识别算法识别游戏玩家操作视频中帧图像，得到每一帧图像各自对应的动作标签；

将所述游戏玩家操作视频中的每一帧图像及其对应的动作标签作为样本；

根据所述样本生成样本集。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

比较所述样本集中每个帧图像与其前一帧的帧图像，以及比较所述样本集中每个帧图像与其前一帧的动作标签；

若某个帧图像与其前一帧图像的图像相似且动作标签不一致，则将所述样本集中所述某个帧图像对应的动作标签更改为所述前一帧图像对应的动作标签。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

若某个帧图像没有对应的动作，且其前一帧图像对应的动作标签标识指定类型动作，则将所述样本集中所述某个帧图像对应的动作标签更改为所述前一帧图像对应的动作标签；

若某个帧图像没有对应的动作，且其前一帧图像对应的动作标签标识非指定类型动作，则从所述样本集中删除所述某个帧图像所对应的样本。

6.根据权利要求1所述的方法，其特征在于，所述第一策略模型包括6层卷积层、3层全连接层和1层Softmax层。

7.根据权利要求1所述的方法，其特征在于，所述模仿学习算法包括基于行为克隆的直接模仿学习算法。

8.根据权利要求1所述的方法，其特征在于，通过以下方式训练所述第二策略模型：

采集游戏对象参与游戏时的游戏图像，确定游戏对象在游戏图像中实施的动作以及根据回报函数确定游戏对象实施动作所得的回报值；所述回报函数表示若游戏对象被对手对象命中则给出第一回报值，若游戏对象命中对手对象则给出第二回报值，若游戏对象击杀对手对象则给出第三回报值，所述第一回报值为负数，所述第二回报值为正数且小于第三回报值；

生成样本集，所述样本集中的每个样本包括：一帧游戏图像、所述一帧游戏图像对应的动作标签、所述一帧游戏图像对应的回报值以及所述一帧游戏图像相邻的下一帧游戏图像；

根据所述样本集中的样本训练第二策略模型的网络参数。

9.根据权利要求1所述的方法，其特征在于，所述游戏为第一人称射击游戏。