[发明专利]一种基于深度学习的三维抓取平台和抓取方法

说明书

本发明公开了一种基于深度学习的三维抓取平台和抓取方法，包括控制系统、传动带系统、机器人系统、采集系统以及物体类别和位姿识别系统；其中，采集系统采集并预处理视野内的原始三维点云数据获取物体的三维点云数据，并输出至物体类别和位姿识别系统；物体类别和位姿识别系统利用基于深度学习网络构建的物体类别和位姿识别模型对物体的三维点云数据进行识别，确定物体类别和位姿信息，并输出至控制系统；控制系统输出控制指定至采集系统以控制采集视野内的原始三维点云数据；根据物体类别和位姿识别系统输出的识别结果规划移动路径，并根据移动路径输出控制指令至机器人系统以控制机器人抓取物体。

技术领域

本发明涉及机械臂抓取技术领域，更具体地说，涉及一种基于深度学习的三维抓取平台和抓取方法。

背景技术

随着人工成本的日益增高，利用机械臂代替人工分拣，实现物体的识别和抓取一直以来是人们关注的焦点。比如物流领域利用机械臂实现分拣包裹，工业领域实现上下料等功能。

传统的采用示教的机械臂抓取方法依赖于多种传感器诸如激光传感器、行程开关等以确保较好的重复定位精度。通过提前设定机械臂需到达的位置，根据一定抓取节奏实现物块的抓取。传统的基于机器视觉机械臂抓取方法通过人工提取物体特征信息与提前构建的数据库配对获取物块在相机坐标系的坐标，然后通过手眼标定将像素坐标转换到机械臂坐标下，让机械臂实现抓取。

上述方法存在不足，传统的采用示教的机械臂抓取方法只能针对单一的物体进行抓取，且不能适应复杂场景下物体的不同姿态，同时随着传感器增多，成本也提升。传统的基于机器视觉机械臂抓取方法往往只利用了二维信息，而忽视了三维结构信息，如公开号为CN106003119A的专利申请公开一种吸取式机械手的物体抓取方法及物体抓取系统和公开号为CN104048607A的专利申请公开一种机械手臂的视觉识别抓取方法。

此外，手眼标定和人工提取特征加大了抓取过程的复杂度。因此，从数据处理上和人工处理特征的复杂度角度上看，这些方法都不具备良好的实时性和便捷性。

发明内容

本发明的目的是提供一种基于深度学习的三维抓取平台和抓取方法，该三维抓取平台和抓取方法能够实时获得物体的三维点云数据，根据物体的三维点云数据获得物体的类别和位姿信息，机械手根据该类别和位姿信息实现对物体的精准抓取。

为实现上述发明目的，本发明的技术方案为：

一种基于深度学习的三维抓取平台，包括控制系统、传动带系统、机器人系统、采集系统以及物体类别和位姿识别系统；其中，

所述采集系统受控制系统控制采集视野内的原始三维点云数据，并对采集的原始三维点云数据进行预处理获取物体的三维点云数据，并输出该物体的三维点云数据至物体类别和位姿识别系统；

所述物体类别和位姿识别系统利用基于深度学习网络构建的物体类别和位姿识别模型对物体的三维点云数据进行识别，确定物体类别和位姿信息，并传输该物体类别和位姿信息至控制系统；

所述控制系统输出控制指定至采集系统以控制采集视野内的原始三维点云数据；根据物体类别和位姿识别系统输出的识别结果规划移动路径，并根据移动路径输出控制指令至机器人系统以控制机器人抓取物体。

一种抓取方法，所述抓取方法采用上述基于深度学习的三维抓取平台，所述抓取方法包括以下过程：

所述传感器在检测获得传送带上的物体到指定抓取区域后，发送物体到位信号至所述控制系统，所述控制系统根据接收的物体到位信号后控制采集设备采集视野内的原始三维点云数据并发送至预处理器；

所述预处理器对获得的原始三维点云数据依次进行点云分割、点云滤波、点云聚类以及点云体素化以提取物体的三维点云数据并发送至物体类别和位姿识别模型；