[发明专利]基于单评判网络的可重构机器人零和神经最优控制方法

权利要求书

1.基于单评判网络结构的可重构机器人零和神经最优控制方法，其特征是，该方法首先建立可重构机器人系统动力学模型；其次构建代价函数与HJI方程，通过基于策略迭代的学习算法，来求HJI方程的解；然后通过对可重构机器人关节子系统间的耦合力矩交联项的观测；接下来采用神经网络对代价函数进行近似；最后通过仿真验证所提出控制方法的有效性；

该方法包括如下步骤：

步骤一，建立可重构机器人系统动力学模型如下：

上式中，u∈Rⁿ代表控制力矩，q∈Rⁿ表示关节位置向量，表示关节速度向量，表示关节加速度向量，M(q)∈R^n×n代表惯性矩阵，表示哥氏力和离心力项，G(q)∈Rⁿ代表重力项；

在实际应用中，可重构机器人有很多关节模块，集中控制会带来沉重的计算负担和复杂的控制结构；为了解决这一缺陷，考虑可重构机器人的每一个子系统，其中包含交联耦合项，第i个子系统的动力学模型可表示为:

其中，是第i个的元素向量，M_ij(q)和表示矩阵M(q)和第ij个元素，表示交联耦合项，d_i(q_i)是不确定干扰项；

令则(2)所示的动力学模型可以描述为如下状态空间形式：

其中，x_i是第i个子系统的状态，h_i(x)是交联耦合项，x代表整个机器人的状态向量，x_i1,x_i2是x_i的第1,2个元素；f_i(x_i1,x_i2)表示系统的漂移动力学，g_i(x_i1)代表系统的输入动力学，d_i(x_i1)是系统受到的不确定干扰；

步骤二，构建代价函数如下：

其中，e_i＝x_i1-x_id和分别代表第i个关节的位置和速度跟踪误差，其中Υ_i,θ_i为确定常数；分别是第i个关节期望的位置、速度和加速度，为效用函数，和是确定的正常数矩阵；

定义哈密顿方程如下:

其中，是第i个关节的期望加速度，J_i(0)＝0,为代价函数J_i(s_i)的梯度，是机器人受到的扰动；接下来，定义如下最优代价函数：

若存在并且连续可微分可重构机器人系统的最优控制律为以及最坏干扰律为：

HJI方程可以改写成：

步骤三，交联项动力学的观测：

基于线性状态扩张观测器，状态空间可以扩张为：

其中x_i3为系统的扩张状态，为x_i3对时间的导数；线性扩展观测器的模型可以描述为：

其中l_ij,j＝1,2,3为观测器选择的增益参数；为对交联耦合项的辨识；其中，

ω_i0＞0为常数，α_ij,j＝1,2,3选择为满足特征多项式s³+α_i1s²+α_i2s+α_i3＝(s+1)³的根，其中在特征多项式中可以表示为：

其中ω_i0为状态扩张观测器的带宽；λ_i0(s)为特征多项式；

令观测误差为根据(13)和(14)，观测误差可以定义为：

令误差动力学可以描述为：

其中

α_ij,j＝1,2,3的选择是令A_i是符合赫尔维茨的；

步骤四，利用单层神经网络来近似代价函数定义如下：

其中，W_ic是理想的权值向量，是激活函数，ε_ic是神经网络的逼近误差，的梯度通过神经网络近似为：

其中：和分别代表激活函数的梯度和逼近误差；

由于理想权值W_ic是未知的，所以用近似权值建立一个评价神经网络来估计代价函数：

根据哈密顿方程(7)和代价函数(18)以及它的梯度(19)，哈密顿方程可以进一步改写为：

其中，e_iJh是由评判网络逼近误差而得到的残差；

以同样的方式近似哈密顿方程，可得：

定义误差方程为：

权值估计误差定义为：

训练和调整评价网络的权值信息，采用目标函数它可以被训练来取到最小值，且神经网络的权值可以通过下式进行更新：

其中，α_i表示评价神经网络的学习速率；

评价神经网络的动态误差如下所示：

其中，υ_i定义为：

结合(11)和(19)，得到基于自适应动态规划的神经最优控制律以及最坏干扰律为：

，

在实现在线策略迭代算法来完成策略改进时，得到了基于自适应动态规划的近似零和神经最优控制律和最坏干扰律如下所示：

。