[发明专利]一种基于策略梯度的机器人学习控制方法

权利要求书

1.基于策略梯度的机器人学习控制方法，其特征在于：包括以下步骤：

S1：输入机器人运动过程中的状态信息数据以及与环境交互的感知信息数据；

S2：根据机器人获取的状态信息数据以及环境感知信息数据，计算及时奖励以及价值函数的近似估计模型；

S3：根据获得的累积奖励以及价值函数近似估计模型，对机器人学习控制器的策略参数进行调整，优化，使机器人达到理想的运行状态；

S4：输出机器人实际执行的动作命令。

2.根据专利要求1所述的基于策略梯度的机器人学习控制方法，其特征在于：所述步骤S1中的所述机器人运动状态信息数据和环境感知信息数据的输入采取独立输入模式。运动状态信息为机器人每个自由度当前时刻位置和速度的观测数据，环境感知数据为可表达环境动态模型的传感数据。

3.根据专利要求1所述的基于策略梯度的机器人学习控制方法，其特征在于：所述步骤S2中的及时奖励根据环境感知信息数据以及奖励函数确定。

4.根据专利要求1所述的基于策略梯度的机器人学习控制方法，其特征在于：所述步骤S2中的价值函数近似模型由机器人运动状态特征向量以及权重向量确定。在估计价值函数的过程中，采用梯度下降法调整权重向量，同时采用Q-学习算法估计状态-动作对的价值。

5.根据专利要求1所述的基于策略梯度的机器人学习控制方法，其特征在于：所述步骤S3中利用策略梯度方法，根据累积奖励以及价值函数近似估计模型对机器人学习控制器的策略参数进行调整，优化，使机器人达到理想的运行状态。