[发明专利]一种基于强化学习的Baxter机械臂轨迹跟踪控制方法

说明书

一种基于强化学习的Baxter机械臂轨迹跟踪控制方法，首先对Baxter机械臂前三个关节进行系统辨识，确定其连续时间的状态空间方程并将之离散化，得到离散的状态空间模型，该步骤仅用于在仿真时获取机器人前三个关节下一时刻的位置和速度跟踪误差；首先给定机械臂前三个关节一个初始状态，按照固定的采样时间测量并记录三个关节下一时刻的位置和速度跟踪误差，对采集到的位置和速度信息预处理之后使用递归的最小二乘法计算最优控制策略所对应的权值矩阵H，最后根据权值矩阵计算出下一时刻的最优反馈控制。本发明自动适应模型改变带来的模型误差，提高机器人在日常使用中的准确性。

技术领域

本发明属于机械臂智能控制领域，具体提供一种基于强化学习的Baxter机械臂轨迹跟踪控制方法，这种方法能够在机械臂模型未知的情况下，通过强化学习策略迭代的方法计算出最优的控制策略，减小轨迹跟踪误差，从而最小化机器人系统的损失函数。

背景技术

近年来，强化学习理论在机器人控制领域得到了广泛的关注和研究。工业机械臂作为工业生产中常见的工具被大量地运用于自动生产线中。如何把强化学习理论应用到工业机械臂的运动控制中，令其具有一定的自主学习的能力，对扩大机械臂的应用场合，降低机械臂的操作难度具有重大意义。机器人在日常使用过程中一定会发生磨损现象，机器人的系统模型也由此发生改变，这就需要不断进行校正，通过自我学习，机器人可以自动补偿磨损带来的误差，提高机器人在日常使用中的准确性，降低机器人的操作难度。同时，机器人需要对动态变化的环境做出反应，也就是说，机器人需要学习如何最佳地适应不确定的和不可预见的变化，这就可以扩大机器人的应用范围。因此，将强化学习理论应用到机械臂的运动控制中，使机器人具备一定的自主学习能力对机器人未来的发展及应用具有深远的意义。

针对解决最优反馈控制问题，传统的技术方法是首先对系统进行模型辨识，得到系统的模型，进而设计最优反馈控制器，传统的控制器有H_∞控制器，或者通过解线性矩阵不等式来求得系统的可行解。但是，传统的技术存在着局限性，这种局限性是由于实际系统存在不确定性导致的，包括系统模型的不确定性以及系统外部的扰动。使用传统的方法时，系统的模型是必需的，并且模型的精度直接影响控制的准确性，即使模型可用，基于该模型获得的状态反馈控制器也仅适用于真实系统动力学的近似模型。除此之外，时变系统最优控制运用到实际系统中操作困难，成本代价高，性能一般，实际的使用价值底，因而通过数据驱动的方法，使用系统的输入输出数据来计算系统的最优控制显的很有必要。

发明内容

为了克服现有技术的不足，本发明专利所考虑的具体对象为Baxter机械臂，为了可以自动适应模型改变带来的模型误差，提高机器人在日常使用中的准确性，本发明提供了一种基于强化学习的Baxter机械臂轨迹跟踪控制方法，具体地说，本发明提供的方法是一种基于策略迭代的无模型的算法来解决非线性、时变系统的自适应最优控制问题，在机械臂模型完全未知的情况下在线自动更新反馈控制增益，最小化系统的损失函数。

本发明为解决上述技术问题提供了如下技术方案：

一种基于强化学习的Baxter机械臂轨迹跟踪控制方法，包括以下步骤：

步骤1)，对Baxter机械臂前三个关节进行模型辨识，确定机械臂的动力学方程，通过系统辨识获得的动力学方程仅用于在仿真时获取机械臂前三个关节的位置和速度跟踪误差，n自由度刚性机械臂的连续时间动力学模型由式(1)所表示

其中表示关节的位置，和分别代表关节的速度和加速度信息，是关节的转矩向量，是对称正定的惯性矩阵；向量包含了机械臂的科氏力，摩擦力以及重力项；向量包含了系统的不确定性：参数的不确定性、低速摩擦、连杆柔性以及关节齿轮系的低频电磁干扰和反向间隙；

步骤2)，建立机械臂的状态空间方程并离散化，过程如下：

机械臂的状态变量表示为一个(2n×1)的向量