[发明专利]应用于强化学习训练过程的方法、装置及电子设备

权利要求书

1.一种应用于强化学习训练过程的方法，包括：

确定强化学习智能体的第一动作数据；

对所述第一动作数据进行限制处理，得到第二动作数据；

通过所述第二动作数据控制目标设备；

所述方法还包括：

确定强化学习智能体的第一奖赏数据；

基于所述第二动作数据和所述第一动作数据，确定奖赏误差数据；

基于所述第一奖赏数据和所述奖赏误差数据，确定第二奖赏数据；

将所述第二奖赏数据反馈至所述强化学习智能体；

其中，对所述第一动作数据进行限制处理，得到第二动作数据，包括：

从所述第一动作数据中每个自由度的动作数据中选择预设个数的动作数据进行平均滤波，得到所述第一动作数据中每个自由度的滤波动作数据；

根据预设动作位置范围和预设动作速度范围，对所述第一动作数据中每个自由度的滤波动作数据进行限位和限速，得到所述第二动作数据中每个相应自由度的动作数据；

所述平均滤波可以按均值或时间的权重进行；

所述基于所述第二动作数据和所述第一动作数据，确定奖赏误差数据，包括：

计算所述第二动作数据中每个自由度的动作数据与所述第一动作数据中每个相应自由度的动作数据的差的加权；

计算所有所述加权之和，得到所述奖赏误差数据；

所述基于所述第一奖赏数据和所述奖赏误差数据，确定第二奖赏数据，包括：

计算所述第一奖赏数据和所述奖赏误差数据之和，得到所述第二奖赏数据。

2.一种应用于强化学习训练过程的装置，包括：

第一确定模块，用于确定强化学习智能体的第一动作数据；

处理模块，用于对所述第一动作数据进行限制处理，得到第二动作数据；

控制模块，用于通过所述第二动作数据控制目标设备；

第二确定模块，用于确定强化学习智能体的第一奖赏数据；

第三确定模块，用于基于所述第二动作数据和所述第一动作数据，确定奖赏误差数据；

第四确定模块，用于基于所述第一奖赏数据和所述奖赏误差数据，确定第二奖赏数据；

第四确定模块，用于将所述第二奖赏数据反馈至所述强化学习智能体；

其中，所述处理模块，包括：

滤波单元，用于从所述第一动作数据中每个自由度的动作数据中选择预设个数的动作数据进行平均滤波，得到所述第一动作数据中每个自由度的滤波动作数据；

限位限速单元，用于根据预设动作位置范围和预设动作速度范围，对所述第一动作数据中每个自由度的滤波动作数据进行限位和限速，得到所述第二动作数据中每个相应自由度的动作数据；

所述平均滤波可以按均值或时间的权重进行；

所述第三确定模块包括：

第一计算单元，用于计算第二动作数据中每个自由度的动作数据与第一动作数据中每个相应自由度的动作数据的差的加权；

第二计算单元，用于计算所有加权之和，得到奖赏误差数据；

所述第四确定模块用于计算第一奖赏数据和奖赏误差数据之和，得到第二奖赏数据。

3.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行权利要求1所述的应用于强化学习训练过程的方法。

4.一种电子设备，所述电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于执行权利要求1所述的应用于强化学习训练过程的方法。