[发明专利]人工智能AI模型的训练方法、装置、设备及介质

说明书

本申请公开了一种人工智能AI模型的训练方法、装置、设备及介质，涉及人工智能的机器学习领域。该方法包括：调用人工智能AI模型在游戏程序中进行游戏对局获得训练数据，训练数据包括游戏对局中的参考游戏状态、决策网络根据参考游戏状态输出的目标游戏动作和价值网络根据参考游戏状态输出的状态价值，状态价值包括在k个价值分类上的k个状态子价值，k为大于1的整数；根据训练数据以及k个价值分类对应的k个价值计算公式，计算人工智能AI模型在参考游戏状态采用目标游戏动作的动作价值，动作价值包括在k个价值分类上的k个动作子价值；根据状态价值和动作价值之差，训练人工智能AI模型。该方法可以提高价值网络预估状态价值的准确性。

技术领域

本申请实施例涉及人工智能的机器学习领域，特别涉及一种人工智能AI模型的训练方法、装置、设备及介质。

背景技术

强化学习是机器学习的范式和方法论之一，用于描述和解决智能体(agent，又称“代理”)在与环境的交互过程中通过学习策略以达成回报最大化或实现特定目标的问题。基于强化学习设计的AI(Artificial Intelligence，人工智能)模型可以进行游戏决策赢得游戏胜利。

AI模型包括决策网络和价值网络，决策网络用于根据游戏状态确定动作指令，价值网络用于评估游戏状态的价值，在AI模型的训练阶段需要根据价值网络输出的价值引导决策网络向价值最大化的方向进行策略决策，因此，价值网络能否准确预估游戏状态的价值显得尤为重要。

在MOBA游戏中，相关技术的AI模型根据执行动作后，每个时刻游戏状态的变化计算每个时刻的时刻价值，其中，一个时刻的时刻价值是根据游戏状态中的多个游戏参数的价值因子计算得到的，然后根据每个时刻的衰减因子将多个时刻价值进行加权求和得到动作价值，根据动作价值训练价值网络准确预估执行该动作后游戏状态的状态价值。其中，衰减因子代表该动作的影响长度，动作产生的影响在最近一段时间内影响程度较大，衰减因子较大；随着时间的推移影响程度逐渐减小，衰减因子逐渐减小。

但由于MOBA游戏的游戏环境复杂，由于执行动作导致游戏参数改变，不同的游戏参数的改变对策略决策的影响程度也是不同的，例如，敌方小兵死亡对对局的影响长度远小于敌方防御塔被摧毁的影响长度。相关技术中的方法只考虑了时间上的衰减，所有游戏参数的价值因子的影响长度是一致的，价值网络无法准确状态价值。

发明内容

本申请实施例提供了一种人工智能AI模型的训练方法、装置、设备及介质，可以提高价值网络预估状态价值的准确性。所述技术方案如下：

一方面，提供了一种人工智能AI模型的训练方法，所述人工智能AI模型包括价值网络和决策网络，所述方法包括：

调用所述人工智能AI模型在游戏程序中进行游戏对局获得训练数据，所述训练数据包括所述游戏对局中的参考游戏状态、所述决策网络根据所述参考游戏状态输出的目标游戏动作和所述价值网络根据所述参考游戏状态输出的状态价值，所述状态价值包括在k个价值分类上的k个状态子价值，k为大于1的整数；

根据所述训练数据以及所述k个价值分类对应的k个价值计算公式，计算所述人工智能AI模型在所述参考游戏状态采用所述目标游戏动作的动作价值，所述动作价值包括在所述k个价值分类上的k个动作子价值；

根据所述状态价值和所述动作价值之差，训练所述人工智能AI模型。

另一方面，提供了一种人工智能AI模型的训练装置，所述人工智能AI模型包括价值网络和决策网络，所述装置包括：

模型模块，用于调用所述人工智能AI模型在游戏程序中进行游戏对局获得训练数据，所述训练数据包括所述游戏对局中的参考游戏状态、所述决策网络根据所述参考游戏状态输出的目标游戏动作和所述价值网络根据所述参考游戏状态输出的状态价值，所述状态价值包括在k个价值分类上的k个状态子价值，k为大于1的整数；