[发明专利]双足机器人步态控制方法、控制装置

说明书

本发明公开一种双足机器人步态控制方法、控制装置，方法包括：采用模仿学习和强化学习两个阶段，模仿学习包括建立双足机器人简化模型，重复从仿真环境中读取完整模型的当前状态，根据完整模型当前状态及动作目标，对简化模型求解轨迹规划问题和任务空间控制，得到模仿学习数据集；利用数据集对第一神经网络监督训练；保存该模仿学习过程所有轨迹中均方误差最小的一次对应的神经网络参数作为最佳参数；强化学习包括：将第二神经网络的参数初始化为该最佳参数；训练第二神经网络，强化学习收敛后，利用强化学习后的第二神经网络控制双足机器人行走。本发明使强化学习在初始时就从较优解附近开始搜索，大幅提升其学习效率。

技术领域

本发明涉及机器人技术领域，具体地说，涉及一种双足机器人步态控制方法、控制装置。

背景技术

由于其自身固有的不稳定性和欠驱动性，像人类一样动态行走对双足机器人来说是一项艰巨的任务。传统步态控制方法首先需要建立数学模型来描述双足机器人的动力学特性，然后基于该动力学模型预先规划为完成预定任务所需要的轨迹，最后基于完整动力学模型设计局部反馈控制器使机器人能跟踪这一轨迹，框架如图1所示。

传统双足机器人步态控制方法的不足在于其一，完整机器人动力学模型的数学建模过程和控制器设计过程较为繁琐，需要依赖大量人工经验设计和调参；其二，控制器通常是线性化的，线性控制器吸引域较小，抗扰能力较差，不能充分发挥机器人的能力。

基于强化学习的双足机器人步态控制方法的不足在于其一，奖励函数的设计和超参数的调整都需要依赖大量人工经验；其二，强化学习过程效率较低，体现在所用计算机处理器性能要求高、学习至收敛所需样本数量大、学习至收敛所需时间长。

强化学习过程效率低有三个主要原因：第一是使用了神经网络，神经网络是一种通用的函数表示形式，需要采集大量数据样本才足以拟合神经网络参数，这一数字往往是几千万到几亿的量级。第二是双足机器人的状态和动作都是连续的，所以虽然维数不高，但实际上策略空间是很大的，强化学习在没有任何先验知识的情况下，只能通过随机搜索的方式来采集数据样本，需要很长的时间才能收集到足够多好的动作来改进神经网络参数，过程中可能有很多冗余或者实际不可行的数据，而这些数据是可以不去搜索的。三是奖励函数设计不佳，奖励函数设计得越具体，神经网络参数的更新就越有针对性，从而提高学习效率，现有方法中的奖励函数大多是若干个子目标的简单加权求和，这没有充分考虑到双足机器人在实际环境中运动的特点，也就阻碍了学习速度。

发明内容

为解决以上问题，本发明提供一种双足机器人步态控制方法，在仿真环境中建立双足机器人完整模型，所述完整模型包括躯干、双腿、双足，躯干与双腿间通过髋关节连接，双腿与双足间通过踝关节连接，所述仿真环境为平面地形，所述方法包括模仿学习和强化学习两个阶段，其中，

所述模仿学习包括：

步骤S1，建立双足机器人简化模型，所述简化模型包括躯干和双腿，所述双腿都通过髋关节与所述躯干连接，每条腿上各有沿腿长度方向的驱动力F和绕髋关节转动的力矩τ；

步骤S2，重复从仿真环境中读取所述完整模型的当前状态，并根据所述完整模型的当前状态及动作目标，对所述简化模型求解轨迹规划问题和任务空间控制，得到完整模型与各当前状态对应的各驱动关节目标位置，将所述完整模型的各当前状态及对应的各驱动关节目标位置一一对应，组成模仿学习数据集；

步骤S3，利用所述模仿学习数据集对第一神经网络进行监督训练，所述第一神经网络的输入为完整模型的状态，输出为各驱动关节目标位置；

步骤S4，将经过训练的第一神经网络用于控制所述完整模型行走，直到所述完整模型出现不稳定，计算不稳定时的轨迹下所述完整模型的状态与动作目标之间的均方误差，