[发明专利]一种基于深度学习的管件自动分拣方法

说明书

本发明属于机器视觉技术领域，具体涉及一种基于深度学习的管件自动分拣方法。针对当前人工分拣成本高、效率低并且繁杂无味，并且使用传统方法识别度低下。本发明通过改进MaskR‑CNN算法，改进算法的识别率和掩码判断，在保证速度的同时也提高了识别率。将相机拍照的照片放入网络中，得到分类结果和掩膜。判断出管件的类别和尺寸，记录信息。通过张正友标定和眼在手外标定方式，对管件抓取点进行定位。机械臂对管件进行抓取、码放工作。本发明的管件自动分拣方法不仅效率高，对不同环境下的管件识别和抓取有着更高的鲁棒性；可广泛应用于工厂分拣，物体分类和抓取。

技术领域

本发明属于机器视觉技术领域，具体涉及一种基于深度学习的管件自动分拣方法。

背景技术

研究机器人的视觉技术不仅可以提高机器人对外界环境的感受能力还可以极大地减轻工作人员的负担，让他们从繁杂无味的工作环境中解放出来。当前我国的劳动需求量还是非常高的，可将机器人应用到这些领域，降低生产成本、提高工作效率、提高企业的市场竞争力，因此很多行业都将工业机器人作为企业的核心工作者，提高企业的生产效率。

在工业机器人的管件识别领域，可通过深度学习代替传统学习的方式，使机器人的识别效果更好，提高零件的识别率，通过深度学习训练的掩膜轮廓受外界因素(光照、阴影)影响比较小，因此可以使用掩膜面积对管件的尺度进行判断，更准确地进行管件抓取以及路径规划，提高抓取效率，更好地保证操作的准确性、稳定性和实用性，弥补了传统方法识别率不高的缺陷。

传统的工业机器人，一般只能识别同一类型、同等大小的管件，如果要分拣多类多尺寸的管件，则需要多个机器人。本发明可以使用单个机器人对多类别、多尺度的管件进行抓取。

因此，基于深度学习的管件自动分拣研究有极其重要的现实意义。

发明内容

针对管件分拣的枯燥繁琐，引入深度学习来对管件的类别和尺寸进行分类。本发明提供了一种基于深度学习的管件自动分拣方法。该方法适用于静态管件分拣以及动态管件分拣(在传送带上的管件抓取及码放)。

为了达到上述目的，本发明采用了下列技术方案：

一种基于深度学习的管件自动分拣方法，包括以下步骤：

步骤1，利用labelme工具对收集到的管件图像进行类别和掩膜轮廓标注，得到json类型标注结果的管件图像；

步骤2，对具有标注结果的管件图像进行数据增强，得到数据集；

步骤3，设计网络结构，将步骤2中数据集读入所述网络中训练；

步骤4，通过使用准确率、召回率和交并比评价判断将步骤3训练好的网络权重读入网络，将待预测图像读入网络进行预测，得到管件的类别和掩膜轮廓；

步骤5，通过掩膜面积对同类别管件的不同尺寸进行判断，并计算得到抓取点；

步骤6，进行相机和机器人坐标系的转换，计算在机械臂末端坐标系的管件抓取点；

步骤7，将计算机和相机之间通过gige千兆网口进行连接，将计算机连接相机的网口的端口号设置与相机相同的端口192.169.1.X，计算机和机器人机械臂之间通过TCP/IP协议进行连接，使用RobotsStudio软件编写RAPID语言，对相机和机器人进行控制拍摄和抓取操作，以及接受机器人的反馈。

进一步，所述步骤2中对具有标注结果的管件图像进行数据增强，具体步骤为：对具有标注结果的管件图像进行旋转、翻转、模糊、高斯滤波、双边滤波及添加白噪声。

进一步，所述步骤3中设计网络结构，具体为：