[发明专利]一种基于深度学习的垃圾分类与拾取机器人

权利要求书

1.一种的基于深度学习的垃圾分类与拾取机器人，其特征在于，用于对垃圾的分类拾取存放，包括移动底座(1)、控制室(2)、机械臂(3)、摄像头及垃圾箱，所述摄像头包括用于控制所述移动底座(1)运动方向的导航摄像头(4)，及用于垃圾分类与拾取的分类摄像头(5)，所述导航摄像头(4)及所述分类摄像头(5)均与所述控制室(2)通信连接，所述机械臂(3)与所述控制室(2)通信连接，所述移动底座(1)与所述控制室(2)通信连接，所述控制室(2)包括用于对所述导航摄像头(4)及所述分类摄像头(5)获取的图片信息进行深度学习的深度学习神经网络，以及控制机械臂工作的手眼标定控制系统。

2.根据权利要求1所述的一种的基于深度学习的垃圾分类与拾取机器人，其特征在于，所述导航摄像头(4)与地面成20°角进行拍摄，所述分类摄像头(5)平行于地面，垂直拍摄。

3.根据权利要求1所述的一种的基于深度学习的垃圾分类与拾取机器人，其特征在于，所述垃圾箱包括干垃圾箱(6)、湿垃圾箱(7)、有害垃圾箱(8)和可回收垃圾箱(9)。

4.根据权利要求1所述的一种的基于深度学习的垃圾分类与拾取机器人，其特征在于，所述深度学习神经网络包括主干特征提取网络、特征增强提取网络和根据提取到的特征完成分类任务的分类网络。

5.根据权利要求4所述的一种的基于深度学习的垃圾分类与拾取机器人，其特征在于，所述深度学习神经网络的训练过程如下：

输入图像，经过数据增强之后，进入主干特征提取网络，经过数次包括卷积池化的操作，再进入特征增强提取网络，在这里把利用不同大小的池化层进行处理后的结果堆叠，并且引入特征金字塔结构，实现特征的增强提取；

通过上述的所有特征增强提取网络处理过后的有效特征层将被传到分类网络，通过卷积之后通道数会变成程序为每个点设置的先验框的数目乘上垃圾的种类数再加五，获得表示每个先验框内是否有垃圾、垃圾的种类以及先验框该如何调整的数据；

之后先通过程序事先设定好的阈值做第一步的筛选，然后再做非极大抑制找出对每一个物体而言，程序认为最合适的预测框。

6.根据权利要求1所述的一种的基于深度学习的垃圾分类与拾取机器人，其特征在于，所述的深度学习神经网络的输出包括用于分类存放时选择的目标垃圾的种类，以及用于所述机械臂(3)对目标垃圾的抓取对应的预测框的坐标。

7.根据权利要求1所述的一种的基于深度学习的垃圾分类与拾取机器人，其特征在于，对垃圾的分类拾取存放过程包括以下几个步骤：

步骤S1：通过视觉导航摄像头(4)，采集图像，传入视觉网络后，根据网络输出结果调整行进方向；

步骤S2：通过分类摄像头(5)，采集图像，传入视觉网络后，根据网络输出结果，确定目标垃圾是否进入可抓取范围，未到可抓取范围则继续行进，到达进入可抓取范围，移动底座(1)停止移动；

步骤S3：移动底座(1)停止向前，基于分类摄像头(5)抓取的图片，通过仿射变换，得到抓取时需要的角度信息，以便后续进行机械臂(3)末端的位姿估计；

步骤S4：通过USB通信，将网络输出的种类、在图像坐标系中的位置以及角度信息传给机械臂(3)；

利用手眼标定得到的矩阵，转换得到物体在机械臂(3)坐标系中的位置；利用机械臂(3)的逆运动求解和笛卡尔空间规划，控制机械臂(3)移动到目标位置，再进行机械臂(3)末端位姿估计并进行目标垃圾的抓取；

以垃圾分类准则为标准，将各种类垃圾再次划分为几大类之后，根据目标垃圾的种类，机械臂(3)旋转到相应垃圾箱上方进行投放，完成对垃圾的分类存放；

步骤S5：将分类摄像头(5)视野内，机械臂(3)可及的垃圾全部完成分类抓取存放之后，移动底座(1)进入可移动状态。