[发明专利]一种基于深度学习的垃圾分选机器人视觉识别方法

权利要求书

1.一种基于深度学习的垃圾分选机器人视觉识别方法，其特征在于包含以下步骤：

步骤一：2D面阵相机和3D线阵相机在同一世界坐标系下完成同步标定；

步骤二：建立YOLOv4目标检测模型；

步骤三：启动多线程，实时获取编码器脉冲值，2D相机和3D相机同时进行图像数据采集，2D相机采集待识别检测的RGB图像，3D相机采集目标图像的轮廓和高度信息；

步骤四：将RGB图像输入YOLO v4目标检测模型中得到矩形框中心坐标、矩形框宽、矩形框高和目标种类；

步骤五：3D相机循环采集单轮廓图像，将数据依次存储在指定大小的内存中，单轮廓图像的内存占用大小由编码器脉冲数量决定；

步骤六：获取内存中的当轮廓图像数据，得到目标物的实际高度信息和宽度信息，并连同YOLOv4目标检测模型得到的矩形框中心坐标、矩形框宽、矩形框高和目标种类一起发送给垃圾分选机器人，使机器人实现实时在线抓取并分类。

2.根据权利要求1所述的一种基于深度学习的垃圾分选机器人视觉识别方法，其特征在于：所述步骤一中2D面阵相机的标定方法为：

用相机采集不同位置及旋转角度的棋盘格标定板；

采用Matlab进行内参标定，得出内参矩阵及畸变系数；

在棋盘格标定板上确定一个世界坐标系，用PNP中4点标定法确定此标定板上4个角点的像素坐标及4个角点在确定的世界坐标系下对应的世界坐标，用solvePNP算子对4个角点进行外参标定，得到外参的旋转矩阵和平移矩阵，完成外参标定。

3.根据权利要求1所述的一种基于深度学习的垃圾分选机器人视觉识别方法，其特征在于：从像素坐标转换到世界坐标的计算公式如下：

其中：u和v分别为像素坐标系中的像素横坐标和像素纵坐标；x_w、y_w、z_w分别为世界坐标系中的横坐标、纵坐标和竖坐标；R为旋转矩阵；T为平移矩阵；u₀、v₀、f_x、f_y为相机内参，即u₀和v₀分别为图像中心横坐标和图像中心纵坐标，f_x和f_y分别为横向等效焦距和纵向等效焦距；s为相机坐标系中的相机坐标。

4.根据权利要求2所述的一种基于深度学习的垃圾分选机器人视觉识别方法，其特征在于：所述3D线阵相机的标定方法为：

使用3D激光照射在标定板上，使激光平行于固定世界坐标系的x轴；

关上激光，提高曝光时间，采集一张角点清晰的图片；

图片采集完后，打开激光，再将传送带前进一段距离，使激光落在另一条棋盘格上，并且使激光平行于x轴；

关闭激光，提高曝光时间，采集另一张角点清晰的图片；

最后进行标定，保存数据结束后即可完成3D相机的标定。

5.根据权利要求1所述的一种基于深度学习的垃圾分选机器人视觉识别方法，其特征在于：所述步骤二具体为：运用2D相机采集RGB图像，标注人员对采集的图片信息进行标注，运用YOLOv4目标检测模型进行模型训练，生成最终的YOLOv4目标检测模型。