[发明专利]动态优势函数建模方法、装置、存储介质及电子设备

说明书

本申请实施例公开了一种动态优势函数的建模方法，涉及深度强化学习领域。方法包括：针对静态优势函数的演员‑评论家模型中包括的静态优势函数添加权重因子，得到第一动态优势函数；基于长短期记忆网络模型对所述演员‑评论家模型中包括的原始策略网络进行动作延迟跟随和重构，得到第二动态优势函数；基于所述第一动态优势函数和所述第二动态优势函数构成所述动态优势函数。采用本申请实施例，可以解决现有的基于静态优势函数的演员‑评论家模型需要大量样本数据支撑训练，以及针对智能体的训练初期效果不理想、模型学习效率低、鲁棒性差的问题。

技术领域

本申请涉及深度强化学习领域，尤其涉及一种动态优势函数的建模方法、装置、存储介质及电子设备。

背景技术

随着科学技术的不断发展，人工智能正在多个领域展现出强劲的发展势头，越来越多的智能体开始出现在人们的视野当中，比如虚拟客服、智能音箱、游戏AI等，这些智能体能够适应环境并进行决策，而训练这些智能体可以使用深度强化学习(ReinforcementLearning,RL)的方法达到。深度强化学习可以归结为一个五元组表示的马尔可夫决策过程(Markov Decision Processes，MDP)，即(S，A，R，P，γ)，分别代表环境状态、动作、奖励、状态转移矩阵、累积奖励折扣因子。智能体从环境获取环境状态，并基于当前状态产生动作作用于环境以使环境产生下一步环境状态，同时接受环境反馈的收益。在与环境交互的过程中，智能体的目的是获取的长期受益最大化。

基于静态优势函数的演员-评论家模型是深度强化学习中被普遍采用来训练智能体的一种模型，优势函数的含义可以理解为，在状态s_i下，选择某一优势动作a_i,k获得的收益相对于在状态s_i下所有动作a_i,_j{j＝1,…,k,k+1,..n}产生的平均收益的优势程度。换而言之，优势函数是得到某一个随机变量相对这个随机变量均值的偏差的函数。

然而基于现有的基于静态优势函数的演员-评论家模型对智能体的训练，需要大量的样本数据支持，在某些情况下，智能体与环境交互会产生巨大的交互成本以及时间成本。例如，针对在汽车上实现自动驾驶功能的智能体，想要采集汽车与环境交互的样本数据无疑是非常耗时耗力以及成本很高的。而少量的样本数据，不仅会使训练后的智能体达不到预想效果，而且智能体的鲁棒性也较差。

发明内容

本申请实施例提供了一种动态优势函数建模方法、装置、存储介质及电子设备，可以解决现有的基于静态优势函数的演员-评论家模型需要大量样本数据支撑训练，以及针对智能体的训练初期效果不理想、模型学习效率低、鲁棒性差的问题，所述技术方案如下：

第一方面，本申请实施例提供了一种动态优势函数建模方法，所述方法包括：

针对静态优势函数的演员-评论家模型中包括的静态优势函数添加权重因子，得到第一动态优势函数；

基于长短期记忆网络模型对所述演员-评论家模型中包括的原始策略网络进行动作延迟跟随和重构，得到第二动态优势函数；

基于所述第一动态优势函数和所述第二动态优势函数构成所述动态优势函数。

第二方面，本申请实施例提供了一种动态优势函数的优化装置，所述装置包括：

第一动态优势函数模块，用于针对静态优势函数的演员-评论家模型中包括的静态优势函数添加权重因子，得到第一动态优势函数；

第二动态优势函数模块，用于基于长短期记忆网络模型对所述演员-评论家模型中包括的原始策略网络进行动作延迟跟随和重构，得到第二动态优势函数；

动态优势函数模块，基于所述第一动态优势函数和所述第二动态优势函数构成所述动态优势函数。