[发明专利]一种基于值迭代的Baxter机械臂智能优化控制方法

说明书

一种基于值迭代的Baxter机械臂智能优化控制方法，先初始化Baxter机械臂系统，选择基函数；对系统状态及输入进行采样，由当前时刻状态计算下一时刻状态，在线计算最优值函数；在得到最优值函数后，利用贪心算法更新策略，策略收敛时达到最优，不再更新，从而实现对系统的最优控制。本发明通过值迭代的自适应控制，求解最优控制策略来实现对系统进行智能优化控制，在系统部分模型参数未知的情况下，不需要对系统进行辨识，而是基于值迭代的自适应控制方法，在线对系统实现最优控制,同时在机器人平台进行算法调试，在实际层面实现效果。

技术领域

本发明属于控制技术领域，具体提供一种基于值迭代的Baxter机械臂智能优化控制方法，实现系统模型未知情况下的Baxter机械臂系统的最优控制。

背景技术

多轴机械臂因其独特的设计结构，能够在多个领域得到广泛的推广使用，采用工业机械臂代替人力所要完成的任务，可以提升工业生产、加工的自动化水平，因此机械臂技术的突破及产业的拓展意义重大。

控制系统传统的开发流程一般以数学仿真为主，数学仿真对于Baxter机械臂这一类非线性强耦合度的被控对象实现起来较为困难，并且此类仿真的结果置信度较低，往往难以达到预期效果。同时，目前对于多轴机械臂的控制研究，多采用传统的基于模型的控制方法，未能利用数据驱动思想在线实现对系统的控制，需要完全已知系统模型。而Baxter机械臂由于模型参数未知，可使用的传统的基于模型的控制方法更加有限，通过系统辨识对Baxter机械臂进行建模，工作量巨大且需要耗费大量时间和精力，同时可能存在模型不匹配、未建模动态等问题。

发明内容

为了克服现有方法存在不足，本发明提供一种基于值迭代的Baxter机械臂智能优化控制方法，该方法提出一种基于自适应值迭代算法，将ADP和智能优化控制系统理论的概念结合起来，提出了一种在线ADP技术，它能以时间向前的方式解决具有未知动力学参数的系统的连续时间无限时域最优控制问题；据测量控制器性能的信号序列更新控制器参数，通过更新控制策略和值函数估计的迭代过程，使它们接近最优控制策略和相应的最优值函数；每个迭代步骤包括基于当前控制策略的值函数更新，以及基于新的值函数估计值更新控制策略。

本发明解决其技术问题所采用的技术方案是：

一种基于值迭代的Baxter机械臂智能优化控制方法，考虑Baxter机械臂系统动力学方程如下：

其中q,分别表示机械臂位置，角速度，角加速度向量，M_j(q)表示机械臂惯性矩阵，C_j表示机械臂科氏力矩向量,G_j(q)表示机械臂重力矩向量，τ表示机械臂控制力矩向量，τ_d表示外部环境的未知扰动力矩向量；

系统状态向量由下式表示：

Baxter机械臂的状态空间方程给出如下：

其中，u＝τ为系统力矩输入，为状态向量，y为输出，矩阵A_c,B_c,h_c定义如下：

其中，O_n为(n×n)的零矩阵，I_n为(n×n)的单位矩阵；

其中，0_n为(n×1)的零矩阵，n(x₁,x₂)收集科式力矩、重力矩相关信息；

对于Q-learning值迭代最优控制问题：

有限域最优控制问题为：