[发明专利]动态优势函数建模方法、装置、存储介质及电子设备

权利要求书

1.一种动态优势函数的建模方法，其特征在于，所述方法包括：

针对静态优势函数的演员-评论家模型中包括的静态优势函数添加权重因子，得到第一动态优势函数；

基于长短期记忆网络模型对所述演员-评论家模型中包括的原始策略网络进行动作延迟跟随和重构，得到第二动态优势函数；

基于所述第一动态优势函数和所述第二动态优势函数构成所述动态优势函数。

2.根据权利要求1所述的建模方法，其特征在于，所述针对静态优势函数的演员-评论家模型中包括的静态优势函数添加权重因子，得到第一动态优势函数，包括：

为目标状态值函数添加所述权重因子，得到动态目标状态值函数；所述静态优势函数包括所述目标状态值函数和状态值函数；

由所述动态目标状态值函数、所述状态值函数和所述权重因子得到所述第一动态优势函数。

3.根据权利要求2所述的建模方法，其特征在于，所述由所述动态目标状态值函数、所述状态值函数和所述权重因子得到所述第一动态优势函数，包括：

为所述权重因子添加弱化系数；

由所述动态目标状态值函数、所述状态值函数、所述弱化系数和所述权重因子得到所述第一动态优势函数。

4.根据权利要求3所述的建模方法，其特征在于，所述由所述动态目标状态值函数、所述状态值函数、所述消除参数和所述权重因子得到所述第一动态优势函数，包括：

其中，J_c(Θ)表示评论家网络损失函数，表示所述第一动态优势函数，Θ表示所述评论家网络的参数，k表示所述弱化系数，episode表示训练轮数，表示所述动态目标状态值函数，表示所述状态值函数，s_t表示状态值，表示所述权重因子。

5.根据权利要求1所述的建模方法，其特征在于，所述针对静态优势函数的演员-评论家模型中包括的静态优势函数添加权重因子，得到第一动态优势函数之前，包括：

计算所述权重因子；其中，所述权重因子计算公式如下：

其中，表示所述权重因子，log表示log函数，ε是常数，取0.2，π_θ(a_t,i|s_t)表示在状态值s_t下选择动作值a_t,i的概率。

6.根据权利要求1所述的建模方法，其特征在于，所述基于长短期记忆网络模型对所述演员-评论家模型中包括的原始策略网络进行动作延迟跟随和重构，得到第二动态优势函数，包括：

针对所述原始策略网络的优势动作，通过所述长短期记忆网络模型得到与所述原始策略网络之间散度最小的延迟跟随策略；

针对所述原始策略网络的劣势动作，融合后验知识，对所述原始策略网络进行劣势动作重构，得到动作重构策略；

基于所述延迟跟随策略和所述动作重构策略构成长短期记忆网络损失函数；

通过所述长短期记忆网络损失函数得到所述第二动态优势函数。

7.根据权利要求6所述的建模方法，其特征在于，所述基于所述延迟跟随策略和所述动作重构策略构成长短期记忆网络损失函数，包括：

其中，表示所述长短期记忆网络模型的参数，包含延迟跟随策略参数以及动作分布重构参数，表示所述长短期记忆网络损失函数，λ取10，r_t表示奖励值，clip表示clip函数，KL表示在优势动作上，所述延迟策略网络与所述原始策略网络之间的KL散度，H表示在劣势动作上，所述动作重构策略对所述原始策略网络的动作分布重构。