[发明专利]多个透明对象3D检测

说明书

一种用于获得一组对象中的多个诸如透明对象之类的对象的3D姿态以允许机器人拾取所述多个对象的系统和方法。该方法包括使用照相机获得所述多个对象的2D红‑绿‑蓝(RGB)彩色图像，以及通过使用深度学习卷积神经网络执行图像分割过程来生成所述RGB图像的分割图像，该图像分割过程从所述RGB图像提取多个特征并且向分割图像中的各个像素分配标签，使得分割图像中的各个对象具有相同标签。该方法还包括将分割图像分离成多个剪切图像，其中每个剪切图像包括所述多个对象中的一个对象，估计每个剪切图像中的每个对象的3D姿态，以及将所述3D姿态组合成单个姿态图像。

技术领域

本公开一般涉及用于获得对象的3D姿态的系统和方法，并且更具体地，涉及一种机器人系统，其获得其是一组对象的一部分的对象的3D姿态，其中，该系统获得多个对象的RGB图像，使用图像分割来分割图像，剪切所述多个对象的分割图像，并且使用基于学习的神经网络来获得分割图像中的每个对象的3D姿态。

背景技术

机器人执行包括拾取和放置操作的多个任务，其中机器人拾取对象并将对象从一个位置(例如收集料箱)移动到另一个位置(例如传送带)，其中对象在料箱中的被称为对象的3D姿态的位置和取向略微不同。因此，为了使机器人有效地拾取对象，机器人通常需要知道对象的3D姿态。为了识别从料箱拾取的对象的3D姿态，一些机器人系统采用生成料箱的2D红-绿-蓝(RGB)彩色图像和料箱的2D灰度深度图图像的3D照相机，其中深度图图像中的每个像素具有定义从照相机到特定对象的距离的值，即，像素越靠近对象，其值越低。深度图图像识别到照相机的视场中的点云中的点的距离测量，其中点云是由特定坐标系定义的数据点的集合，并且每个点具有x、y和z值。然而，如果机器人拾取的对象是透明的，则光不能从对象的表面精确地反射，并且由照相机产生的点云无效，并且深度图像不可靠，因此不能可靠地识别对象以进行拾取。

转让给本申请的受让人并且通过引用结合于此的、标题为由2D照相机进行的3D姿态估计、于2020年4月3日提交的美国专利申请第16/839,274号公开了一种机器人系统，该机器人系统用于使用来自2D照相机的2D图像和基于学习的神经网络来获得对象的3D姿态，该神经网络能够识别正被拾取的透明对象的3D姿态。神经网络从2D图像提取对象上的多个特征，并且针对所提取的特征中的每个生成热图，该热图通过颜色表示来识别对象上的特征点的位置的概率。该方法提供包括来自2D图像上的热图的多个特征点的特征点图像，并且通过比较特征点图像和对象的3D虚拟CAD模型来估计对象的3D姿态。换句话说，采用优化算法来最优地旋转和平移CAD模型，使得投影的特征点在模型中与图像中的预测特征点匹配。

如上所述，'274机器人系统预测由机器人拾取的对象的图像上的多个特征点。然而，如果机器人从诸如料箱中的多个对象之类的一组对象中选择性地拾取对象，则在图像中将存在多个对象，并且每个对象将具有多个预测特征。因此，当CAD模型旋转时，其投影特征点可以匹配不同对象上的预测特征点，从而阻止该过程可靠地识别单个对象的姿态。

发明内容

以下讨论公开并描述了用于获得多个对象的3D姿态以允许机器人拾取所述多个对象的系统和方法。该方法包括使用照相机获得所述多个对象的2D红-绿-蓝(RGB)彩色图像，以及通过使用深度学习卷积神经网络执行图像分割过程来生成RGB图像的分割图像，该图像分割过程从RGB图像提取多个特征并且向分割图像中的各个像素分配标签，使得分割图像中的各个对象具有相同标签。该方法还包括将分割图像分离成多个剪切图像，其中每个剪切图像包括所述多个对象中的一个，估计每个剪切图像中的每个对象的3D姿态，以及将所述3D姿态组合成单个姿态图像。每当由机器人从一组对象中拾取一个对象时，执行获得彩色图像、生成分割图像、分离分割图像、估计每个对象的3D姿态以及组合3D姿态的步骤。

附图说明

结合附图，从以下描述和所附权利要求，本公开的附加特征将变得显而易见。

图1是包括从料箱拾取出多个对象的机器人系统的示意图；