[发明专利]一种基于深度学习的垃圾分类与拾取机器人

说明书

本发明提供了一种的基于深度学习的垃圾分类与拾取机器人。所述的基于深度学习的垃圾分类与拾取机器人包括移动底座、控制室、机械臂、摄像头及垃圾箱，所述摄像头包括用于控制所述移动底座运动方向的导航摄像头，及用于垃圾分类与拾取的分类摄像头，所述导航摄像头及所述分类摄像头均与所述控制室通信连接，所述机械臂与所述控制室通信连接，所述移动底座与所述控制室通信连接，所述控制室包括用于对所述导航摄像头及所述分类摄像头获取的图片信息进行深度学习的深度学习神经网络，以及控制机械臂工作的手眼标定控制系统。本发明从生产源头上对生活垃圾进行分类存放，能更充分利用资源并有效避免二次污染。

技术领域

本发明涉及基于深度学习的垃圾分类与拾取机器人技术领域，特别涉及一种的基于深度学习的垃圾分类与拾取机器人。

背景技术

随着经济社会的发展与人口的逐日递增，据不完全统计，全球每天产生550万吨生活垃圾，并且除去生活垃圾，还有各种各样其他来源的垃圾，譬如：工业垃圾、农业垃圾、建筑垃圾、医疗垃圾等等。这是一个令人惊叹的数字，但是更令人惊叹的是，据统计在生活垃圾中，大约有1/3是可回收的，在如今的时代，可持续发展是一个必然的趋势，那么资源的循环利用就是不可或缺的一环。值得一提的是，生活垃圾中还包含有一部分有害垃圾，如果不针对处理，将会对我们生活的自然环境产生不可估量的伤害，由此看来，垃圾分类存放的确是大势所趋。

正如上述所言，全球垃圾生产速度惊人，如此巨量的垃圾如果寄希望于先集中后分类，这无疑是一个让人“闻而生畏”的工作；反之，如果从垃圾的产生源头就对其分类，对于垃圾的后续处理无疑是一条“捷径”。然而，强制进行垃圾分类无疑会成为降低人们生活品质，压榨闲暇时间的沉重负担。

发明内容

本发明提供了一种的基于深度学习的垃圾分类与拾取机器人，其目的是为了解决背景技术中垃圾分类工作繁杂、给人带来沉重负担的问题，从根源上对生活垃圾进行分类存放，便于后续的回收或者其他处理。

为了达到上述目的，本发明的实施例提供的一种的基于深度学习的垃圾分类与拾取机器人，用于对垃圾的分类拾取存放，包括移动底座、控制室、机械臂、摄像头、垃圾箱，所述摄像头包括用于控制所述移动底座运动方向的导航摄像头，及用于垃圾分类与拾取的分类摄像头，所述导航摄像头及所述分类摄像头均与所述控制室通信连接，所述机械臂与所述控制室通信连接，所述移动底座与所述控制室通信连接，所述控制室包括用于对所述导航摄像头及所述分类摄像头获取的图片信息进行深度学习的深度学习神经网络，以及控制机械臂工作的手眼标定控制系统。

优选地，所述导航摄像头与地面成20°角进行拍摄，所述分类摄像头平行于地面，垂直拍摄。

优选地，所述垃圾箱包括干垃圾箱、湿垃圾箱、有害垃圾箱和可回收垃圾箱。

优选地，所述深度学习神经网络包括主干特征提取网络、特征增强提取网络和根据提取到的特征完成分类任务的分类网络。

优选地，所述深度学习神经网络的训练过程如下：

输入图像，经过数据增强之后，进入主干特征提取网络，经过数次包括卷积池化的操作，在进入特征增强提取网络，在这里把利用不同大小的池化层进行处理后的结果堆叠，并且引入特征金字塔结构，实现特征的增强提取；

通过上述的所有特征增强提取网络处理过后的有效特征层将被传到分类网络，通过卷积之后通道数会变成程序为每个点设置的先验框的数目乘上垃圾的种类数再加五，获得表示每个先验框内是否有垃圾、垃圾的种类以及先验框该如何调整的数据；

之后先通过程序事先设定好的阈值做第一步的筛选，然后再做非极大抑制找出对每一个物体而言，程序认为最合适的预测框。

优选地，所述的深度学习神经网络的输出包括用于分类存放时选择的目标垃圾的种类，以及用于所述机械臂对目标垃圾的抓取对应的预测框的坐标。