[发明专利]一种基于深度强化学习的机械臂六自由度实时抓取方法

权利要求书

1.基于深度强化学习的机械臂六自由度实时抓取方法，其特征在于：包括如下步骤：

步骤1：通过双目相机采集抓取操作台上物体的图像信息；

步骤2：利用YOLOv5剪枝网络模型对图像进行目标检测训练；

步骤3：建立强化学习网络模型；

步骤4：通过机器人正逆运动学完成机械臂抓取移动；

步骤5：进行强化学习模型训练，使得机械臂完成抓取动作；

所述步骤2具体步骤如下：

2.1)：为了降低梯度爆炸和梯度消失的可能性，减少池化层对梯度计算的影响，参考残差网络Resnet跳层连接结构，将卷积层的步长参数设为2，并对其余卷积层加入BatchNormalization(BN)；借鉴CSPNet网络结构，由CBL模块、Res_unint模块以及卷积层、Concate组成CSP1_X模块；由卷积层和X个Res_unint模块Concate组成CSP2_X模块；其输入层由卷积层，Batch Normalization(BN)，Leaky_Relu激活函数组成；根据输入彩色图大小，学习数据集中的锚框大小，达到自适应多尺度预测的目的；

2.2)：使用基于训练数据自动学习和K-meas聚类算法，即使数据集中目标对象大小与COCO数据集中不同，YOLOv5也可以重新学习锚框的尺寸，得到适合自定义数据集中对象边界预测的预设锚框，此方法的目的是加速预测框的回归；YOLOv5剪枝网络模型前向推断中预测公式如下所示：

b_y＝σ(t_y)+c_y (1)

b_x＝σ(t_x)+c_x (2)

进行目标检测框的预测，最后得到预测框相对于当前特征图的相对中心坐标值b_x,b_y，以及预测框的宽和高b_w,b_h，c_x,c_y是输出特征图grid cell的左上角坐标，p_w,p_h为锚框的宽和高；t_x,t_y为网络预测的坐标偏移值，t_w,t_h为网络预测的尺度缩放倍数；

2.3)：设计YOLOv5损失函数，采用GIOU_Loss交叉熵损失来代替Smooth L1 Loss函数，设计的目标置信度损失函数如下所示：

其中网络输出c_i通过Sigmoid函数得到

2.4)：目标类别损失函数同样采用二值交叉熵，设计的目标类别损失函数如下所示：

其中，网络输出c_i通过Sigmoid函数得到表示目标检测框i中存在第j类目标的Sigmoid概率：

2.5)：目标定位损失函数采用MSE损失函数，如下所示：

其中：

其中表示预测框的坐标偏移量，表示真实框的坐标偏移量，(b^x,b^y,b^w,b^h)为预测框的参数，(c^x,c^y,p^w,p^h)为锚框的参数，(g^x,g^y,g^w,g^h)为真实框的参数；

2.6)：将上述所有损失函数通过权值相加得到总损失函数：

L(O,o,C,c,l,g)＝λ_confL_conf(o,c)+λ_claL_cla(O,C)+λ_locL_loc(l,g) (11)

2.7)：首先，通过步骤2.1)至2.4)不断降低模型总损失函数从而更新模型权重，得到训练好的权重参数；然后，将更新好的模型权重参数导入YOLOv5剪枝模型；其次，将上述步骤1采集到的抓取操作台上物体的图像信息作为网络模型的输入，输出为图像中物体的中心坐标点和标签值；

所述步骤3具体步骤如下：

3.1)：通过以下公式对网络进行前向推理：

其中公式(12)表示在状态s，动作a下的期望回报，其中a_t表示t时刻采取的动作，s_t表示t时刻的状态，r_t表示t时刻的回报；公式(13)表示网络总的回报函数；公式(14)为状态分布函数；公式(15)表示状态-动作函数；

3.2.1)：设计强化学习网络损失函数，采用计算交叉熵损失函数，其公式如下所示：

其中τ＝s₀a₀s₁a₁...s_na_n...表示马尔可夫过程；

由于P_r{a|s}＝π(s,a)，故此可得公式(17)；

3.2.2)：权重更新函数如下所示：

其中f_ω:S×A→R是对的近似函数，当f_ω取极小值，Δω＝0时，可推导出公式(19)

3.2.3)：当满足公式(20)时，则通过权重系数得到最终的损失函数，如下所示：

3.3)：首先，根据上述公式设计网络模型：特征提取网络由卷积层，BatchNormalization，MaxPooling池化层组成，最后加上全连接层；然后，通过降低步骤3.2.3中的损失函数从而更新模型权重，得到训练好的权重参数；接着，将更新好的权重参数导入强化学习网络模型；其次，对步骤1得到的彩色图像和深度图像进行缩放和归一化处理，使得两张图像格式符合强化学习网络的输入要求；将特征提取网络输出的两张张量通过Pytorch的concat进行横向拼接，送入Batch Normalization和卷积层组成的网络，输出大小为12544的特征概率热点图；

3.4)：最后，将输出的张量整理为16张大小为28*28的热力图，找出最大概率抓取点所在坐标，即输出的为一组三维坐标数组；

3.5)：将输出的三维数组中每一元素转换为机械臂末端分别绕x,y,z三个坐标轴旋转的角度，具体转换公式如下所示：

a_x＝((best_pix_ind[0]-14)*30/28)-pi (22)

b_y＝((best_pix_ind[1]-14)*30/28) (23)

r_z＝(best_pix_ind[2]*180/16) (24)

其中a_x表示为机械臂末端绕x轴旋转角度，即为末端执行器的侧倾角；b_y表示为机械臂末端绕y轴旋转角度，即为末端执行器的俯仰角；r_z表示为机械臂末端绕z轴旋转角度，即为末端执行器的偏航角。