[发明专利]一种基于多模态主动感知的物品分类回收方法

说明书

本发明涉及一种基于多模态主动感知的物品分类回收方法，属于机器人应用技术领域。本方法首先搭建面向目标物品的目标检测网络模型，进而得到抓取目标物品的抓取位姿，根据抓取位姿引导机械臂机械手系统主动对目标物进行捏取式抓取。机械手手指末端配备触觉传感器，抓取目标物的同时可实时获取目标物表面的触觉信号。对获取的触觉信息进行特征提取并输入到鉴别物品材质的触觉分类器，完成对目标物品的分类回收。本发明利用视觉和触觉多模态信息，通过视觉检测结果引导机器人主动以最适合的位姿对目标物品进行抓取并采集触觉信息，实现物品材质识别，完成物品分类回收。可自动识别多种不同材质的可回收物品，具有较强的通用性和实际意义。

技术领域

本发明涉及一种基于多模态主动感知的物品分类回收方法，属于机器人应用技术领域。

背景技术

随着全球人口的持续增长和不断城市化，为了实现可持续发展和资源回收的目标，有必要利用机器人来自动高效地完成物品的分类回收任务。一种常见的回收方式是将可回收物品以混合的方式收集，收集时不考虑物品的材质信息。这种回收方式可以方便居民并能降低回收成本，然而需要后续操作将混合物品按照材质进行分类回收。在机器人应用中，可以通过视觉模态，利用视觉深度学习算法检测目标物品，进而生成目标物品的抓取位姿，引导机械臂机械手系统主动对目标物品进行有效抓取。在抓取目标物品时，安装在机械手手指末端的触觉传感器可以实时获取目标物表面的触觉信号，通过对触觉信号的分析，可完成物品材质的鉴别，完成对可回收物品的分类回收。

MIT与Princeton的研究人员在2018年ICRA(国际机器人与自动化会议)上，发表题为Robotic Pick-and-Place of Novel Objects in Clutterwith Multi-AffordanceGrasping and Cross-Domain Image Matching(通过生成抓取点热力图实现机器人在堆积场景下对未知物品的拾放)的文章，该技术通过深度学习训练，提出Affordance网络，输入拾取场景的彩色深度图像，输出像素级的AffordanceMap(抓取点热力图)，避免了复杂的物品分割与识别，直接得到备选拾取位置，但该网络只能输出像素级的抓取点，不能输出机械手抓取物品的方向，因此抓取的位姿可能不适合对触觉数据的测量，从而导致触觉材质鉴别失败，已有方法无法有效地解决该问题。

深度学习，特别是卷积神经网络，在计算机领域已经取得了显著的成果，包括物体检测、物体识别以及图像语义分割等。

发明内容

本发明的目的是一种基于多模态主动感知的物品分类回收方法，面向实际需求，克服已有技术的不足之处，利用视觉检测结果引导机器人主动以最适合的位姿对目标物品进行抓取并采集触觉信息，实现物品材质鉴别，高效准确地完成物品分类回收，可自动鉴别多种不同材质的可回收物品。

本发明提出的基于多模态主动感知的物品分类回收方法，具体步骤如下：

(1)搭建一个机器人物品分类回收操作系统：

包括：一台机械臂、一个包含吸盘的机械手、一台彩色深度照相机、一个触觉传感器、一张可放置物品的操作台和物品回收容器，彩色深度照相机、触觉传感器、机械手和机械臂与控制器相连；