[发明专利]人工智能AI模型的训练方法、装置、设备及介质

权利要求书

1.一种人工智能AI模型的训练方法，其特征在于，所述人工智能AI模型包括价值网络和决策网络，所述方法包括：

调用所述人工智能AI模型在游戏程序中进行游戏对局获得训练数据，所述训练数据包括所述游戏对局中的参考游戏状态、所述决策网络根据所述参考游戏状态输出的目标游戏动作和所述价值网络根据所述参考游戏状态输出的状态价值，所述状态价值包括在k个价值分类上的k个状态子价值，k为大于1的整数；

根据所述训练数据以及所述k个价值分类对应的k个价值计算公式，计算所述人工智能AI模型在所述参考游戏状态采用所述目标游戏动作的动作价值，所述动作价值包括在所述k个价值分类上的k个动作子价值；

根据所述状态价值和所述动作价值之差，训练所述人工智能AI模型。

2.根据权利要求1所述的方法，其特征在于，所述参考游戏状态包括至少k个游戏信息，所述k个价值分类是根据所述游戏信息对所述游戏对局的影响划分的，属于同一个价值分类的所述游戏信息具有相同的影响衰减趋势；

所述根据所述训练数据以及所述k个价值分类对应的k个价值计算公式，计算所述人工智能AI模型在所述参考游戏状态采用所述目标游戏动作的动作价值，包括：

获取所述训练数据中从t₀时刻到t_n时刻的游戏状态，所述参考游戏状态是所述t₀时刻的游戏状态，所述t_n时刻是所述游戏对局的结束时刻，n为正整数；

对于所述k个价值分类中的第j个价值分类，根据从所述t₀时刻到所述t_n时刻的所述游戏状态中，属于所述第j个价值分类的所述游戏信息，计算所述目标游戏动作在所述第j个价值分类的动作子价值，j为小于等于k的正整数，k为大于1的整数；重复本步骤计算得到所述目标游戏动作在所述k个价值分类上的所述k个动作子价值。

3.根据权利要求2所述的方法，其特征在于，所述对于所述k个价值分类中的第j个价值分类，根据从所述t₀时刻到所述t_n时刻的所述游戏状态中，属于所述第j个价值分类的所述游戏信息，计算所述目标游戏动作在所述第j个价值分类的动作子价值，包括：

对于所述k个价值分类中的所述第j个价值分类，根据t_i时刻和t_i+1时刻的所述游戏状态，获取属于所述第j个价值分类的所述游戏信息的价值因子，计算所述价值因子的加权和得到所述t_i时刻的时刻价值；重复本步骤计算得到从t₀时刻至t_n-1时刻共n个时刻的n个时刻价值；

根据所述n个时刻在所述第j个价值分类中对应的n个衰减因子，计算所述n个时刻的所述n个时刻价值的加权和，得到所述目标游戏动作在所述第j个价值分类的所述动作子价值；

其中，所述t_i时刻的衰减因子用于描述所述t_i时刻的所述时刻价值的衰减程度，j为小于等于k的正整数，k为大于1的整数，i为小于n的非负整数，n为正整数。

4.根据权利要求1至3任一所述的方法，其特征在于，所述参考游戏状态包括游戏信息；所述价值分类包括：稠密价值分类、稀疏价值分类、英雄价值分类、防御塔价值分类、游戏胜负价值分类中的至少两种；

其中，所述稠密价值分类和所述稀疏价值分类是根据所述游戏信息对所述游戏对局的影响时间长度划分的；所述英雄价值分类和所述防御塔价值分类是根据所述游戏信息对所述游戏对局的影响重要程度划分的；所述游戏胜负价值分类中包括决定所述游戏对局是否结束的所述游戏信息。