[发明专利]一种机械臂路径规划方法、系统及装置

权利要求书

1.一种机械臂路径规划方法，其特征在于，包括以下步骤：

步骤S1，从多任务序列R中选取一个未经优化的任务R_i；

步骤S2，基于R_i的先验的局部策略p_i来生成成功抓取的样本轨迹D_i，得到第一成功样本集合D_m，其中i为局部策略在全局策略中的编号；

步骤S3，基于步骤S2的样本轨迹D_i拟合线性高斯动力学模型q_i(x_t+1|x_t，u_t)，其中x_t为时间步t下机械臂的状态，u_t表示根据全局策略所选择的动作；

步骤S4，采用直接优化单一的局部策略的方法对局部策略p_i进行优化得到优化后的局部策略p¹_i；基于p¹_i生成成功抓取的样本轨迹D¹_i，得到第二成功样本集合D¹_m；

步骤S5，采用EWC算法，基于D¹_m优化全局策略π_θ；判断多任务序列R是否为空，为空时跳转步骤S6，不为空时将任务R_i从多任务序列R中去除并跳转步骤S1；

步骤S6，基于步骤S5输出优化后的全局策略π_θ进行机械臂多任务下的路径规划。

2.根据权利要求1所述的机械臂路径规划方法，其特征在于，步骤S5中所采用的EWC算法，其公式如下：

其中，θ为当前任务R待学习的参数，θ_i为之前任务R_i待学习的参数，T为执行任务R_i的时间步总数，t表示时间步，D_KL(π_θ(u_t|x_t，m)||p_m(u_t|x_t，m))表示利用任务m收集到的样本对全局策略进行训练，π_θ(u_t|x_t，m)表示全局策略，u_t表示根据全局策略所选择的动作，x_t，m表示机械臂在t时刻的状态，p_m(u_t|x_t，m)表示任务m的局部策略，λ_i为超参数，m为当前任务的索引，F_i为任务R_i的Fisher信息。

3.根据权利要求1所述的机械臂路径规划方法，其特征在于，步骤S4中“直接优化单一的局部策略的方法”，其方法为LQR算法，公式为：

其中，为任务R_i在局部策略p_i下的损失函数的期望，T为执行任务R_i的时间步总数，t表示时间步，l(x_t，u_t)为预设的损失函数。

4.根据权利要求1-3任一项所述的机械臂路径规划方法，其特征在于，在步骤S1之前还包括步骤S0：

步骤S0，将局部策略初始化为空。

5.根据权利要求1-3任一项所述的机械臂路径规划方法，其特征在于，所述机械臂的状态包括机械臂相对于目标位置的关节角度、速度、末端执行器的位置。