[发明专利]一种基于深度强化学习双足机器人运动控制方法及系统

说明书

本发明属于机器人智能控制领域，提供了一种基于深度强化学习双足机器人运动控制方法及系统，包括获取双足机器人的当前状态信息；根据双足机器人的当前状态信息，利用训练好的深度强化学习算法模型得到扰动预测值；根据机器人的期望姿态和期望速度以及扰动预测值，得到最优的地面反作用力；基于最优的地面反作用力控制双足机器人的支撑腿，进而实现对双足机器人的运动控制。本发明基于单刚体模型预测控制提出了一种新的、基于深度强化学习预测腿部扰动控制方法，适用于腿部质量占比小于30%的双足机器人，扩大了单刚体模型预测控制方法的应用范围。

技术领域

本发明属于机器人智能控制技术领域，具体涉及一种基于深度强化学习双足机器人运动控制方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

相较于轮式机器人，腿足式机器人拥有巨大的应用价值和发展前景。目前，四足机器人和双足机器人是腿足式机器人领域的研究热点。由于双足机器人具有复杂的非线性动力学和更高的自由度，所以实现双足机器人的稳定行走是一项具有较大挑战性的工作。与四足机器人相比，双足机器人由于自身的机械结构设计，很难实现静态稳定。其一是因为，双足机器人的矩形足面积很小，部分机器人甚至是线形足。这导致双足机器人在静态站立和运动过程中的支撑域很小，甚至不存在支撑域。从稳定性分析的角度来看，双足机器人不具备静态稳定的条件，只具备动态稳定性条件。这意味着，双足机器人只能在运动过程中实现自身稳定。因此，双足机器人运动控制器的设计难度要远胜于四足机器人。

目前，腿足式机器人的控制方法主要有两类，分别是基于模型的控制方法和无模型的控制方法。深度强化学习是无模型方法中最主要的方法。目前在腿足式机器人领域内，近端策略优化算法（Proximal Policy Optimization，PPO）和确定性策略梯度算法（DeepDeterministic Policy Gradient，DDPG）是两种最常用的深度强化学习算法。深度强化学习方法优点是规避复杂的建模和调参过程，通过不同的奖励函数指导，智能体可以学习到不同的目标策略，是一种较为灵活的控制方法。基于模型的控制方法也就是我们通常所说的传统的控制方法。设计基于模型的控制方法，首先要对被控对象进行建模。最近关于双足机器人的研究《Force-and-moment-based Model Predictive Control for AchievingHighly Dynamic Locomotion on Bipedal Robots》（基于力和力矩的控制在双足机器人上实现高速动态运动）将单刚体模型预测控制方法应用到双足机器人上，从理论上证明了模型预测控制方法的稳定性。但是，单刚体模型预测控制在双足机器人领域的普及还面临着一个重大的挑战。单刚体模型不考虑机器人的腿部质量对机器人整体运动的影响，这在腿部质量占比10%左右的四足机器人上是一种很合理的假设。但是，目前大部分的双足机器人腿部质量占比较大，腿部质量对机器人整体运动的影响不可忽略。

发明内容

为了解决上述问题，本发明提出了一种基于深度强化学习双足机器人运动控制方法及系统，本发明基于单刚体模型预测控制提出了一种新的、基于深度强化学习预测腿部扰动控制方法，适用于腿部质量占比小于30%的双足机器人，扩大了单刚体模型预测控制方法的应用范围。

根据一些实施例，本发明的第一方案提供了一种基于深度强化学习双足机器人运动控制方法，采用如下技术方案：

一种基于深度强化学习双足机器人运动控制方法，包括：

获取双足机器人的当前状态信息；

根据双足机器人的当前状态信息，利用训练好的深度强化学习算法模型得到扰动预测值；

根据机器人的期望姿态和期望速度以及扰动预测值，得到最优的地面反作用力；

基于最优的地面反作用力控制双足机器人的支撑腿，进而实现对双足机器人的运动控制。