[发明专利]基于异构深度网络融合的动态目标抓取姿态快速检测方法

权利要求书

1.基于异构深度网络融合的动态目标抓取姿态快速检测方法，其特征在于，包括以下步骤：

S1：通过视觉传感器获取目标场景的RGB图像和深度图像；

S2：对所获得的RGB图像进行目标物体标注和抓取边界标注，分别作为目标训练集T₁和抓取姿态训练数据集T₂；

S3：将训练集T₁输入I型深度网络，进行迭代训练，当loss函数低于0.5，则训练结束，作为目标识别网络；将训练集T₂输入II型深度网络进行迭代训练，当loss函数低于0.1，则训练结束，作为抓取姿态识别网络；所述的I型深度网络为YOLOV3网络、SSD网络、YOLOV4网络、Faster RCNN网络、Mask RCNN网络、RetinaNet网络、DSSD网络中的一种；所述的II型深度网络为ResNet网络、DenseNet网络、DPN网络、SE-Net网络、AOGNet网络中的一种；

S4：在实际测试中，通过视觉传感器连续获取实际场景的RGB图和深度图，将RGB图输入步骤S3获得的目标识别网络，获取目标边界平面坐标[(p₁,q₁),(p₂,q₁),(p₁,q₂),(p₂,q₂)]；同时，将RGB图输入步骤S3获得的抓取姿态识别网络，获取抓取边界坐标集合T_g；其中，第i个抓取边界为[(m_i1,n_i1),(m_i2,n_i2),(m_i3,n_i3),(m_i4,n_i4)]；

S5：根据目标边界平面坐标，利用如下公式计算目标的中心点平面坐标(p₀,q₀)；

S6：根据目标的中心点平面坐标(p₀,q₀)，遍历查找对应的深度图，结合机器人视觉系统的坐标转换关系，从而获取目标中心点的点云坐标(x₀,y₀,z₀)，作为目标物体在世界坐标系中的三维坐标；

S7：抓取边界坐标集合T_g，计算所有抓取边界的中心位置集合C_g，其中第i个抓取边界中心点坐标为(c_i1,c_i2)；

S8：根据目标的中心点平面坐标(p₀,q₀)，遍历查找抓取边界的中心位置集合C_g，寻找与目标中心点平面坐标(p₀,q₀)，最近的抓取边界的中心位置；设符合条件的是第i*个抓取边界中心点坐标，对应的抓取边界为[(m_i*1,n_i*1),(m_i*2,n_i*2),(m_i*3,n_i3),(m_i*4,n_i*4)]；通过机器人视觉系统的坐标转换关系，得到符合条件的抓取边界对应的世界坐标为[(M_i*1,N_i*1),(M_i*2,N_i*2),(M_i*3,N_i*3),(M_i*4,N_i*4)]；

S9：根据符合条件的第i*个抓取边界的世界坐标，利用如下公式计算获取抓取边界对应的一个方向向量为d＝[1,k]；

对应的单位方向向量为e＝[e₁,e₂]，其计算方式如下：

S10：根据目标物体的点云坐标和抓取边界的单位向量，得到目标物体对应的抓取姿态[x₀,y₀,z₀,e₁,e₂]。