[发明专利]一种基于深度强化学习的空间双臂系统约束运动规划方法

权利要求书

1.一种基于深度强化学习的空间双臂系统约束运动规划方法，其特征在于，步骤如下：

1)利用广义雅可比矩阵建立自由漂浮空间双机械臂系统的运动学模型；

2)基于上述的空间双臂系统的运动学模型，结合DDPG算法，设计空间双臂系统运动规划算法；

3)对DDPG算法中奖励函数进行设计，以实现对空间双臂系统运动规划算法中各约束条件的满足，包括机械臂末端执行机构的速度约束和双机械臂协同运动的自碰撞约束；

所述步骤1)具体包括：根据下式(1)建立空间双机械臂系统的运动学模型：

其中，E₃表示3x3的单位矩阵；P_ω、J_Pφ、P_φ均为定义的符号变量；^Iv₀与^Iω₀分别为空间机械臂基座在惯性参考系下的速度矢量与角速度矢量；与分别为第1个机械臂在惯性参考系下的速度矢量与角速度矢量；与分别为第2个机械臂在惯性参考系下的速度矢量与角速度矢量；和分别为两臂各关节角的角速度；M为空间机械臂系统的质量矩阵，r_0g＝r_g-r₀，r_g表示系统质心位置，r₀表示空间机械臂基座位置，算子×表示斜对称矩阵；J₀和J_φ为机械臂系统分别对关节角和基座的雅可比矩阵，其中：

式中，为第i关节的角速度方向矢量，为第i关节的位置矢量，为第i连杆的质心位置矢量，I为惯性张量矩阵，均为定义的符号变量；表示第1根机械臂中第1根至第i根连杆的角速度方向向量组成的矩阵；表示第2根机械臂中第1根至第i根连杆的角速度方向向量组成的矩阵；I₀表示空间双机械臂系统中基座的转动惯量；表示空间双机械臂系统中第k根机械臂中第i根连杆的转动惯量；i和j均表示机械臂上连杆的序号，i∈[1,n]，j∈[1,n]；k表示机械臂的序号，k∈[1,2]；n表示单根机械臂上总连杆个数，m为质量。

2.根据权利要求1所述的基于深度强化学习的空间双臂系统约束运动规划方法，其特征在于，所述步骤2)具体包括：

21)在python编程环境中将上述建立的空间双机械臂系统的运动学模型构建为DDPG算法中的环境部分，与DDPG算法之间的信息交互，具体为：由DDPG算法生成具体需要执行的动作作为输入信息，输入到构建的上述环境部分中，通过运动学递推更新机械臂的状态信息，从而计算执行该动作所获得的即时奖励，最后由环境反馈更新后的机械臂状态信息、单步即时奖励以及是否已完成目标的标志位；

22)DDPG算法采用actor-critic模式，利用actor做出决策、critic做出评价：从环境中观测得到状态s，传递给actor根据所述状态s凭当前的策略网络做出决定得到动作a，将动作a作用于环境之后，给出当前步的奖励反馈r和新的状态，根据奖励反馈r，critic更新对actor的行为评价网络，actor再沿着critic建议的方向更新自身的策略网络，从而完成了一步训练，继续循环直到训练成功；DDPG采用记忆池的设计，将与环境交互得到的数据样本存储在记忆池中，再从中随机选择一条数据进行训练，打破数据间的关联，实现了样本的独立；DDPG采用四个神经网络：将actor对应的网络称为策略网络，分为现实策略网络和目标策略网络，将critic对应的网络称为价值网络即Q网络，分为现实Q网络和目标Q网络；现实策略网络用于与环境进行交互，根据当前的状态s选择相应的动作a，并更新策略网络中的参数θ^μ；目标策略网络采用从记忆池中抽取的数据进行训练，完成根据下一状态s'选择合适的下一动作a'这一任务，该网络的网络参数θ^μ'定期从现实策略网络中进行复制更新；现实Q网络用于计算当前的Q值Q(s,a|θ^Q)和目标Q值y＝r+γQ′(s′,a′|θ^Q')，并更新Q网络中的参数θ^Q；目标Q网络用于计算目标Q值中的Q′(s′,a′|θ^Q)，该网络的网络参数θ^Q'定期从现实Q网络中进行复制更新；

23)基于DDPG算法设计空间双臂系统约束运动规划算法。