[发明专利]融合生物启发和深度强化学习的损伤机器人步态自学习

说明书

本发明提供了一种融合生物启发和深度强化学习的损伤状态机器人步态自学习方法，步骤包括：六足机器人建模及强化学习控制系统搭建；设置状态值和动作值；设置奖励函数；搭建Actor‑Critic神经网络；选取强化学习算法进行网络参数优化；六足机器人模型仿生特征约束；典型损伤状态下的六足机器人步态训练。该方法通过使用融合生物启发和深度强化学习的方法来生成机器人步态，使机器人在受到损伤后能够通过步态自学习进行步态调整，这对提高机器人在复杂环境下的生存能力具有重要意义。

技术领域

本发明涉及一种损伤状态六足机器人步态自学习方法，尤其是一种融合生物启发和深度强化学习的损伤状态机器人步态自学习方法。

背景技术

仿生六足机器人运动功能丰富、环境适应能力强，特别适合在恶劣的野外环境中执行搜救、侦察和物资输送等任务。在复杂危险环境中作业的机器人极易遭受各种伤害，导致出现不同程度的损伤。通常情况下，机器人损伤后其移动和控制能力将迅速减弱。如能使受损机器人在短时间内调整和学习出新的高效运动步态，这对于受损机器人自救及提升生存能力至关重要。

使用基于模型的传统方法进行机器人控制时，开发者首先需要对机器人进行运动学和动力学建模，依照建立的机器人模型，再针对某一个具体任务来编程。这种方法无疑存在短板，一旦机器人受到损伤，自身的状态发生变化时，原本建立的机器人模型将不再适用，开发者也无法预先建立涵盖机器人所有损伤类型的机器人模型。

深度强化学习是解决上述问题的一种有效方法，该方法可以在无模型的情况下通过机器人与环境的不断交互训练来完成机器人的步态自学习。尤其是当机器人遇到受损情况，自身状态发生改变时，可以使用这种方法完成步态的重新学习和调整，更好地进行自救。此外，通过借鉴自然界中六足动物的身体结构与步态特征，将其与强化学习进行融合，这对于提高机器人的训练效率有很大的帮助。因此，研究融合生物启发和深度强化学习的损伤状态机器人步态自学习具有很大的意义和实用价值。

发明内容

本发明的目的在于：提供一种融合生物启发和深度强化学习的损伤状态机器人步态自学习方法，能够使机器人在受到损伤后通过步态自学习进行步态调整，提高机器人在复杂环境下的生存能力。

为了实现上述发明目的，本发明提供了一种融合生物启发和深度强化学习的损伤状态机器人步态自学习方法，包括如下步骤：

步骤1，建立六足机器人仿真模型，搭建六足机器人强化学习控制系统；

步骤2，建立强化学习智能体；

步骤3，参照六足动物身体结构特征和步态特征对六足机器人模型各关节运动范围进行约束；

步骤4，设置六足机器人典型损伤状态，使用融合生物启发和深度强化学习的方法训练损伤状态下的六足机器人。

作为本发明的进一步限定方案，步骤1中，使用SolidWorks进行六足机器人的机械结构设计和装配，并生成URDF格式的文件，将该URDF格式的文件导入到MATLAB，通过Simscape Multibody工具箱生成六足机器人3D仿真模型，并在Simulink中搭建六足机器人强化学习控制系统。

作为本发明的进一步限定方案，步骤2中，所建立的强化学习智能体通过将采集到的观测值进行奖励函数的计算，并输出动作值，同时在机器人训练过程中利用强化学习算法不断优化神经网络参数，以得到更高的奖励值，具体步骤为：

步骤2.1，选取机器人关节角度、机器人关节角速度，机器人机身欧拉角(Yaw、Pitch、Roll)、机器人机身位移(P_x、P_y、P_z)、机器人机身速度(v_x、v_y、v_z)以及机器人机身角速度(ω_x、ω_y、ω_z)作为观测值。选取Actor网络的转矩输出作为动作值。