[发明专利]一种基于强化学习和CPG控制器的四足机器人步态控制方法

说明书

本发明公开了一种基于强化学习和CPG控制器的四足机器人步态控制方法，包括S1、搭建四足机器人的单腿模型及整体模型；S2、构建演员神经网络和评论家神经网络对单腿模型进行训练；S3、确立四足机器人的腿部之间的相对时序关系并根据腿部运动特点构建控制器模型；S4、将控制器模型的输出信号通过映射变换构建出四足机器人的足端运动轨迹模型，将足端运动轨迹模型的输出作为四足机器人步态控制信号来驱动四足机器人。本发明保证了四足机器人的腿部严格按照时序进行运动，具有哺乳动物的步态特性，同时保证了机器人在运动过程中躯干平稳、俯仰角和横侧角变化范围小，有效防止其颠覆；腿部运动具有自适应性，不需要人为设计复杂的控制与规划算法。

技术领域

本发明涉及机器人技术领域，尤其涉及一种基于强化学习和CPG控制器的四足机器人步态控制方法。

背景技术

在四足机器人步态控制领域，中央节律控制器CPG是最为简单且最经典的控制方法之一，首先构建一个合适的节律控制器将四足机器人的每一条腿都分配一个控制器，使机器人按照一定的时序进行运动，完成前进或者后退等简单动作。但是使用该方法具有很大的局限性：1、在设置好控制器后就很难再对腿部运动规划进一步进行修改与干预。2、由于仅仅考虑时序问题，机器人关节运动的设定并不一定合理，导致在运动过程中机器人躯干的俯仰角横侧角变化幅度较大，不满足平稳运动的要求，更严重者可能导致整个机器人倾覆。

近些年由于机器学习与强化学习理论的兴起，运用强化学习算法控制机器人手臂或者足端运动成文研究热点之一，已经发表的文章来看，国外一些顶级科研机构已经利用强化学习算法和复杂深层的神经网络，训练出可以自主移动的足机器人运动方式。但这依然存在一些不足：1、训练的神经网络过大，可复制性低；这些机器人运动控制网络，往往由大量的工程和研究人员经过数个月的训练才能达到效果，使用的神经网络和奖惩函数等也是极其复杂难以迁移和复现的；2、现有的强化学习算法训练出的足机器人都抛弃了足机器人的一个特性：时序性。腿部按照一定的时序进行运动是哺乳类动物运动特点，也是哺乳类动物能够展现较快速和较强地面适应能力的一项必要条件，去除时序性进行强化学习算法控制的机器人会出现适应能力差的问题。

发明内容

本发明目的是为了解决现有技术中存在的问题，提出一种基于强化学习和 CPG控制器的四足机器人步态控制方法。

本发明提出的一种基于强化学习和CPG控制器的四足机器人步态控制方法，包括以下步骤：S1、在V-REP仿真平台下搭建四足机器人的单腿模型以及四足机器人的整体模型；S2、基于DDPG强化学习算法构建演员网络和评论家网络对单腿模型进行训练；S3、利用CPG控制器确立四足机器人的腿部之间的相对时序关系并根据四足机器人的腿部运动特点构建出控制器模型；S4、将控制器模型的输出信号通过映射变换构建出四足机器人的足端运动轨迹模型，将足端运动轨迹模型的输出作为四足机器人步态控制信号来驱动四足机器人。

优选地，所述CPG控制器为Hopf振荡器。

优选地，所述四足机器人每条腿包括两个髋关节和一个膝关节；所述四足机器人的整体模型中每条腿的外部结构及关节可达角度相同。

优选地，所述演员网络为四层神经网络，输入层及中间层每层具有500个神经元，输出层具有两个神经元；所述评论家网络为三层神经网络，每层具有500 个神经元。

优选地，步骤S2中对单腿模型进行训练中的奖惩函数为：

其中，x、z为足端X与Z方向上的坐标，x_t、z_t为目标点在x与z方向上的坐标。

优选地，步骤S2中对单腿模型进行训练时以9维状态值作为输入，所述9 维状态值为：