[发明专利]一种基于双视角的推抓协同分拣网络及其分拣方法和系统

权利要求书

1.一种基于双视角的推抓协同分拣网络的训练方法，其特征在于，包括如下步骤：

(1)分别从两个视角采集样本场景的样本点云图，对样本点云图的俯视图进行旋转，得到多张旋转样本图像；

(2)将多张旋转样本图像输入到推抓协同分拣网络，推抓协同分拣网络包括推动全卷积网络和抓取全卷积网络，两个全卷积网络分别输出带有Q值的样本热力图，将推动全卷积网络中最大Q值与抓取全卷积网络中最大Q值进行比较，选取其中较大Q值的样本热力图作为目标热力图；

(3)根据目标热力图中最大Q值对应的像素点以及该热力图对应的旋转图像的旋转角度，选择该热力图对应网络的分拣动作，作为机械臂的执行动作，并根据分拣动作进行奖励计算；

(4)利用计算结果更新目标热力图对应全卷积网络的网络参数，然后返回步骤(1)进行下一次迭代，当迭代次数达到预设值时，得到训练好的推抓协同分拣网络。

2.一种基于双视角的推抓协同分拣网络，其特征在于，所述推抓协同分拣网络通过如权利要求1所述的推抓协同分拣网络的训练方法训练得到，所述推抓协同分拣网络中推动全卷积网络和抓取全卷积网络的网络结构相同，

每个全卷积网络结构包括DenseNet121网络与两个卷积层进行通道级联，每个卷积层带有ReLU激活函数以及批量归一化，并进行双线性上采样。

3.一种基于双视角的推抓协同分拣方法，其特征在于，包括如下步骤：

(1)分别从两个视角采集待分拣物体场景的点云图，对点云图的俯视图进行旋转，得到多张旋转图像；

(2)将多张旋转图像分别输入到经过权利要求1所述训练方法训练得到的推抓协同分拣网络，得到推动全卷积网络和抓取全卷积网络输出的带有Q值的热力图，将推动全卷积网络中最大Q值与抓取全卷积网络中最大Q值进行比较，选取其中较大Q值的热力图作为最终的热力图；

(3)根据最终的热力图中最大Q值对应的像素点以及该热力图对应的旋转图像的旋转角度，控制机械臂执行该热力图对应网络的分拣动作，根据分拣动作进行奖励计算，利用计算结果更新最终的热力图对应网络的网络参数；

(4)判断待分拣物体场景中待分拣对象是否分拣完成，若完成，则结束分拣，否则返回步骤(1)。

4.如权利要求3所述的一种基于双视角的推抓协同分拣方法，其特征在于，所述旋转的具体实现方式为：

对两个视角下点云图的俯视图分别进行旋转，每360°/n旋转一次，其中n＝2的m次幂，m为大于等于1的整数。

5.如权利要求3或4所述的一种基于双视角的推抓协同分拣方法，其特征在于，所述分拣动作为推动动作或抓取动作。

6.如权利要求5所述的一种基于双视角的推抓协同分拣方法，其特征在于，所述推动动作为：

以最终的热力图中的像素点坐标为起始位置，机械臂末端沿着最终的热力图对应的旋转图像的旋转方向，推动物体，推动距离为物体几何形状长边长度的一半。

7.如权利要求5所述的一种基于双视角的推抓协同分拣方法，其特征在于，所述抓取动作为：

以最终的热力图中的像素点坐标为机械臂末端夹爪中心运动的目标位置，机械臂末端旋转到最终的热力图对应的旋转图像的旋转方向，对物体进行抓取。

8.如权利要求5所述的一种基于双视角的推抓协同分拣方法，其特征在于，所述奖励计算的具体实现方式为：

其中，R为分拣动作后推动全卷积网络或抓取全卷积网络的奖励函数的计算结果，为推动全卷积网络或抓取全卷积网络将获得的奖励，a为分拣动作，R_G为抓取动作的奖励，R_P为推动动作的奖励，τ为推动后场景的像素变化率。