[发明专利]基于事后经验的信赖域策略优化方法、装置及相关设备

权利要求书

1.一种基于事后经验的信赖域策略优化方法，其特征在于，包括以下步骤：

S100，通过使用目标条件下策略训练过程中所采集的机器人执行动作的经验数据，将经验数据中已到达的目标点作为虚拟目标点，生成虚拟的事后经验数据；

S200，基于事后目标滤波算法，完成对虚拟目标的过滤，获取与原始目标分布接近的事后目标所对应的训练数据；

S300，基于虚拟经验数据，通过加权重要性采样修正虚拟经验数据与原始经验数据的分布偏差，并以此估计目标函数值，并获取原始策略梯度；

S400，在策略分布相近时，使用二次KL散度近似KL散度，并基于加权重要性采样修正虚拟经验数据与原始经验数据的分布偏差，以此估计策略间KL散度值；

S500，通过KL散度修正策略梯度方向，并通过最大KL散度步长计算更新策略步长；根据上述策略步长更新现有策略，并回到S100，重复策略更新过程，直至策略收敛。

2.根据权利要求1所述的一种基于事后经验的信赖域策略优化方法，其特征在于，S100中，通过机器人当前执行动作策略与环境交互情况，获取机器人执行动作的经验数据

其中，是由机器人当前状态s_t作为输入到机器人执行动作a_t的映射，通过执行动作a_t，机器人会从环境中获取奖励值r_t；

通过经验数据生成虚拟目标g′＝φ(s)；使用虚拟目标条件化原始经验数据，生成虚拟经验数据

3.根据权利要求1所述的一种基于事后经验的信赖域策略优化方法，其特征在于，所述机器人当前状态包括关节角度、关节速度和目标位置。

4.根据权利要求1所述的一种基于事后经验的信赖域策略优化方法，其特征在于，S300中，目标函数值为：

其中，A表示优势函数，即在状态s_k的条件下，执行动作a_k相对于当前策略的优势；λ表示归一化因子，表示更新前策略，θ表示更新后策略，γ表示奖励折扣因子，N表示虚拟目标g′下的轨迹数量，t表示强化学习时间步。

5.根据权利要求1所述的一种基于事后经验的信赖域策略优化方法，其特征在于，S400中，KL散度值为；

6.根据权利要求1所述的一种基于事后经验的信赖域策略优化方法，其特征在于，S500中，策略步长：

其中，∈表示最大KL散度限制。

7.一种基于事后经验的信赖域策略优化装置，其特征在于，包括：

获取模块，用于通过使用目标条件下策略训练过程中所采集的机器人执行动作的经验数据，将经验数据中已到达的目标点作为虚拟目标点，生成虚拟的事后经验数据；

过滤模块，用于基于事后目标滤波算法，完成对虚拟目标的过滤，获取与原始目标分布接近的事后目标所对应的训练数据；

修正模块，用于基于虚拟经验数据，通过加权重要性采样修正虚拟经验数据与原始经验数据的分布偏差，并以此估计目标函数值，并获取原始策略梯度；

估计模块，用于在策略分布相近时，使用二次KL散度近似KL散度，并基于加权重要性采样修正虚拟经验数据与原始经验数据的分布偏差，以此估计策略间KL散度值；

更新模块，用于通过KL散度修正策略梯度方向，并通过最大KL散度步长计算更新策略步长；根据上述策略步长更新现有策略，重复策略更新过程，直至策略收敛。

8.一种基于事后经验的信赖域策略优化设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于事后经验的信赖域策略优化程序，所述基于事后经验的信赖域策略优化程序被所述处理器执行时实现如权利要求1至6中任一项所述的基于事后经验的信赖域策略优化方法的步骤。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有基于事后经验的信赖域策略优化程序，所述基于事后经验的信赖域策略优化程序被处理器执行时实现如权利要求1至6中任一项所述的基于事后经验的信赖域策略优化方法的步骤。