[发明专利]一种基于强化学习和位置增量的四足机器人运动控制方法

权利要求书

1.一种基于强化学习和位置增量的四足机器人运动控制方法，其特征在于，包括以下步骤：

获取运动环境信息、四足机器人姿态信息和足底位置信息；

基于获取的信息，生成四足机器人运动时各个预设时间步长内的足底位置，计算各个时间步长内足底位置的变化量；

以单个时间步长内的最大移动距离为约束，同时累积时间步长得到足底位置轨迹；基于足底位置轨迹结合预设奖励函数来控制四足机器人执行相应动作，以使四足机器人保持运动平衡。

2.如权利要求1所述的基于强化学习和位置增量的四足机器人运动控制方法，其特征在于，所述四足机器人上设有惯性测量单元和关节电机编码器，以获取四足机器人的基准线速度、方向、角速度和关节位置。

3.如权利要求1所述的基于强化学习和位置增量的四足机器人运动控制方法，其特征在于，获取四足机器人关节状态历史信息和腿部相位信息，并进行处理后作为四足机器人控制输入，得到下一动作命令来控制机器人运动。

4.如权利要求3所述的基于强化学习和位置增量的四足机器人运动控制方法，其特征在于，通过关节状态历史信息包括关节位置误差和关节速度，其中关节位置误差为当前关节位置与上一关节位置指令的偏差，以实现地面接触检测。

5.如权利要求1所述的基于强化学习和位置增量的四足机器人运动控制方法，其特征在于，基于强化学习策略选择足底位置区域，以此区域作为足底位置的变化区间，从而约束足底在单个时间步长内的最大移动距离。

6.如权利要求1所述的基于强化学习和位置增量的四足机器人运动控制方法，其特征在于，四足机器人的每条腿使用独立的轨迹生成器来输出Z轴方向的足底位置；基于强化学习策略输出足底位置增量和每条腿的调节频率，累加沿X轴、Y轴方向的足底位置增量得到的X轴、Y轴方向的足底位置，叠加Z轴方向足底位置增量和先验值得到Z轴方向的足底位置。

7.如权利要求1所述的基于强化学习和位置增量的四足机器人运动控制方法，其特征在于，四足机器人基础框架中预先定义目标足底位置，结合相应目标位置计算目标关节电机位置，并计算关节力矩，追踪目标关节电机位置。

8.如权利要求1所述的基于强化学习和位置增量的四足机器人运动控制方法，其特征在于，设计四足机器人基座线速度奖励函数和旋转方向奖励函数，以鼓励机器人跟踪上层控制指令给出给定的速度指令和旋转方向指令。

9.如权利要求1所述的基于强化学习和位置增量的四足机器人运动控制方法，其特征在于，分别设计角速度奖励函数、侧向协调奖励函数、纵向协调奖励函数、步幅奖励函数、脚底侧滑奖励函数和脚底抬高奖励函数，奖励函数共同作用引导四足机器人完成动作执行。

10.一种基于强化学习和位置增量的四足机器人运动控制系统，其特征在于，包括：

信息获取模块，被配置为：获取运动环境信息、四足机器人姿态信息和足底位置信息；

增量计算模块：被配置为：基于获取的信息，生成四足机器人运动时各个预设时间步长内的足底位置，计算各个时间步长内足底位置的变化量；

轨迹规划模块，被配置为：以单个时间步长内的最大移动距离为约束，同时累积时间步长得到足底位置轨迹；

动作控制模块，被配置为：基于足底位置轨迹结合预设奖励函数来控制四足机器人执行相应动作，以使四足机器人保持运动平衡。