[发明专利]一种基于深度强化学习的四足机器人模仿运动控制方法

说明书

本发明公开一种基于深度强化学习的四足机器人模仿运动控制方法，该方法首先采用基于深度学习的视频特征提取网络提取动物运动视频中的运动关键节点信息，利用X11时序分析方法消除动物运动节点信息中的角度偏移和噪声，从中提取出动物运动特征的周期性规律；再将其作为先验信息构建基于演员‑评论框架的深度强化学习网络，通过网络来学习对应的比例缩放系数，实现视频中动物与对应四足机器人的尺寸匹配，最后将优化的深度强化学习网络部署到真实的四足机器人中，该深度强化学习网络根据当前四足机器人的状态以及对应模仿动作规律输出相应的关节角度位置，实现四足机器人的模仿运动控制。本发明的方法具备良好的环境泛化效果以及控制稳定性。

技术领域

本发明涉及智能足式机器人领域，具体涉及一种基于深度强化学习的四足机器人模仿运动控制方法。

背景技术

四足机器人相对其他形式的移动机器人，移动中具有独立的落足点，可以根据地形和任务的特点改变步态，其更加适用于在不平整、崎岖地形以及上下楼梯等复杂环境下作业，具备更好的环境适应能力。然而，四足机器人的运动规划具有很大的挑战性。它必须考虑大量的时变因素，才能从大的动作空间中寻找出最优的控制决策。深度强化学习是一种新型控制方法。在深度强化学习中，代表动作策略的神经网络通过与环境不断交互实现网络参数的更新，在训练过程中学习如何从环境中获得最大的累积奖励。然而，基于深度强化学习的四足机器人控制策略无法有效权衡复杂环境探索能力与机身稳定性，同时上层控制决策方案与底层的控制执行器之间的配合无法直接有效地配合。因此，从现实动物中学习步态是一个可行的方案，深度学习具有很强的对视频图像的识别能力，广泛应用于人脸，车辆识别等场景，并且在动物识别的研究中取得了良好的效果。

发明内容

针对现有技术的不足，本发明提出一种基于深度强化学习的四足机器人模仿运动控制方法，主要帮助四足机器人仅依靠不同动物视频信息模仿学习不同步态的能力。

本发明的目的通过如下的技术方案来实现：

一种基于深度强化学习的四足机器人模仿运动控制方法，该方法包括如下步骤：

步骤一：采用基于深度学习的视频特征提取网络提取动物运动视频中相关动物的运动节点的关键信息；

步骤二：利用X11时序分析方法消除所述步骤一中提取的动物运动节点信息中的角度偏移，并从中提取中动物运动特征的周期性规律；

步骤三：构建基于演员-评论算法的深度强化学习网络，并设置具有四足机器人的虚拟仿真环境，将步骤二提取的动物运动特征的周期性规律作为先验信息输入所述的深度强化学习网络中，设置奖励函数、训练条件，通过在仿真中模拟四足机器人与环境的交互运动，不断训练深度强化学习控制网络，使虚拟仿真环境中的四足机器人具备快速模仿动物视频中运动的能力，从而对所述深度强化学习网络进行训练学习，训练结束后得到优化的深度强化学习网络；

步骤四：将优化后的深度强化学习网络部署到真实的四足机器人的控制系统中，所述优化后的深度强化学习网络将结合当前四足机器人的状态与模仿动作输出对应的关节角度位置，从而模仿所述动物运动视频中相关动物的运动。

进一步地，为了激励四足机器人以合理的速度和姿态进行动物模仿运动，所述深度强化学习网络的奖励函数r为

r＝0.08r_lin+0.02r_ang+0.03r_body