[发明专利]引导型策略搜索强化学习算法

摘要

本发明涉及一种引导型策略搜索强化学习算法，首先选择引导型学习样本，然后利用所选样本对目标函数进行梯度估计，根据策略更新原则更新参数，直到收敛为止。本发明通过重构目标函数，大大降低了因使用重要采样技术而降低算法稳定性能及收敛率的问题。本发明定义了对于强化学习而言的引导型高质量学习样本，通过该引导型学习样本的使用，能够更准确的进行策略搜索，从而避免情况较坏的局部最优。

主权项

一种引导型策略搜索强化学习算法，其特征在于：首先选择引导型学习样本，然后利用所选样本对目标函数进行梯度估计，根据策略更新原则更新参数，直到收敛为止，所述的目标函数为：$\mathrm{\Φ}\left(\mathrm{\ρ}\right)=J^{IW}\left(\mathrm{\ρ}\right)+{\mathrm{\λ}}_1{\mathrm{log\Σ}}_{i=1}^{N^{\′}}w\left({{\mathrm{\θ}}^{\′}}_i\right)+{\mathrm{\λ}}_2{\mathrm{\Σ}}_{i=1}^{N^{\′}}\frac{1}{1+Var\left(w\right({{\mathrm{\θ}}^{\′}}_i\left)\right)}$J^IW(ρ)为重要采样技术下的原始目标函数，即寻找最优超参数ρ使得期望回报最大化，该目标函数还包括两个正则项，第一个正则项为w(θ)为重要权重，w(θ)＝p(θ|ρ)/p(θ|ρ′)，ρ′为样本采样超参数，ρ为当前学习超参数，P(θ|ρ)为策略参数的概率分布函数；第二个正则项为其中N′表示样本个数，Var(w(θ_i))表示重要权重的方差；λ₁，λ₂表示正则项参数，在算法中通过调整其大小来控制参数搜索范围。所述的引导型学习样本评价指标为：其中η表示采样样本分布，E表示期望，表示该分布的熵，R(h)表示路径样本的累积回报。