[发明专利]一种基于深度强化学习的机器人抓取-抛掷方法

权利要求书

1.一种基于深度强化学习的机器人抓取-抛掷方法，其特征在于，该方法包括如下步骤：

步骤S1：首先利用抓取端相机获取抓取工作空间场景的图像信息，并按照相机外参矩阵把相机采集的图像信息转换为深度俯视图和彩色俯视图；

步骤S2：将深度俯视图和彩色俯视图输入到抓取深度Q网络中，输出抓取示力图，并选取抓取示力图的最大值点作为抓取位置；

步骤S3：机器人在步骤S2目标抓取位置处执行抓取动作，并根据机器人的手爪是否闭合来判断物体抓取是否成功；

步骤S4：若抓取成功，则根据S2中选取的抓取位置提取目标物体深度俯视图和彩色俯视图输入至抛掷网络中，该网络输出所有目标框的抛出速度，给定任一目标框的索引得到机器人抛掷物体到该目标框的对应的抛出速度；

步骤S5：机器人按照步骤S4中的抛出速度执行抛掷动作；

步骤S6：根据抛掷端的相机判定被抛掷的物体是否落入目标框，如果落入目标框，设置抓取动作奖励为1，反之为0；

步骤S7：以上步骤S1-S3为DQN算法训练步骤，步骤S4-S6为DDPG算法训练步骤，利用DQN和DDPG算法循环训练步骤S1-S6得到抓取和抛掷模型。

2.根据权利要求1所述的一种基于深度强化学习的机器人抓取-抛掷方法，其特征在于，步骤S1具体包括如下步骤：

步骤1-1：通过手眼标定获取相机的内外参矩阵；

步骤1-2：获取相机传输的工作场景内部的RGB-D数据，在采集图像时应将深度图像对齐到彩色图像上，进行图像配准；

步骤1-3：先利用相机内外参矩阵将深度图像转换为3D点云图像，通过透视变换将深度图像和彩色图像转换为深度俯视图和彩色俯视图。

3.根据权利要求1所述的一种基于深度强化学习的机器人抓取-抛掷方法，其特征在于，步骤S2具体包括如下步骤：

步骤2-1：搭建基于深度残差网络ResNet101和全卷积神经网络的抓取深度Q网络；

步骤2-2：将深度俯视图和彩色俯视图输入至深度Q网络当中，获取与输入图像尺度相同的输出，形成抓取示力图，图中像素值越大的点表示抓取该点对应的期望抓取成功率越高；

步骤2-3：选择抓取示力图中值最大的点的坐标作为抓取位置；

步骤2-4：机器人每次通过抓取网络抓取成功时，则设置抓取动作的奖励为1，否则设置抓取动作的奖励为0，以此作为抓取网络标签来评判抓取成功率。

4.根据权利要求1所述的一种基于深度强化学习的机器人抓取-抛掷方法，其特征在于，步骤S3具体包括如下步骤：

步骤3-1：机器人携带手爪移动至指定步骤2选取的抓取位置上，并张开手爪准备抓取；

步骤3-2：机器人携带手爪向下移动至深度俯视图上抓取坐标所对应的深度位置，闭合手爪，执行抓取动作；

步骤3-3：闭合手爪后，若手爪能完全闭合，则说明手爪内部没有物体，则抓取动作失败，此时判断抓取执行前后场景中的视觉信息是否发生改变，若改变则表明抓取动作触碰到了物体，给予抓取智能体一个值为0.5的回报；否则表示抓取动作完全抓空，给予抓取智能体一个值为0的回报；如果手爪没有完全闭合，则表明抓到了物体，给予抓取智能体一个值为1的回报。

5.根据权利要求1所述的一种基于深度强化学习的机器人抓取-抛掷方法，其特征在于，步骤S4具体包括如下步骤：

步骤4-1：搭建基于深度残差网络ResNet50、动作网络和价值网络的抛掷网络；

步骤4-2：根据步骤2的抓取位置，从步骤1中的场景图像提出目标物体的深度俯视图和彩色俯视图；

步骤4-3：将步骤4-2的目标物体深度俯视图和彩色俯视图输入至ResNet50中得到图像特征；

步骤4-4：将图像特征输入至动作网络中，得到将该物体抛至所有目标框的对应抛出速度。

6.根据权利要求1所述的一种基于深度强化学习的机器人抓取-抛掷方法，其特征在于，步骤S5具体包括如下步骤：

步骤5-1：机器人匀加速直线运动至指定抛出速度，然后以抛出速度匀速运动至目标抛掷点；

步骤5-2：机器人运动至目标抛掷点时打开手爪释放物体，物体将以指定目标框对应的抛出速度抛出。