[发明专利]多个透明对象3D检测

权利要求书

1.一种用于获得一组对象中的多个对象的3D姿态的方法，所述方法包括：

使用照相机获得所述多个对象的2D红-绿-蓝(RGB)彩色图像；

通过执行图像分割过程来生成所述RGB图像的分割图像，所述图像分割过程从所述RGB图像提取多个特征并向所述分割图像中的各个像素分配标签，使得所述分割图像中的各个对象具有相同的标签；

将所述分割图像分离成多个剪切图像，其中每个剪切图像包括所述多个对象中的一个对象；

估计每个剪切图像中的每个对象的3D姿态；以及

将所述3D姿态组合成单个姿态图像。

2.根据权利要求1所述的方法，其中，生成分割图像包括使用深度学习掩模R-CNN(卷积神经网络)。

3.根据权利要求1所述的方法，其中，生成分割图像包括提供多个边界框，将所述多个边界框与所提取的多个特征对准，以及提供包括围绕所述多个对象的边界框的边界框图像。

4.根据权利要求3所述的方法，其中，生成分割图像包括确定对象存在于每个边界框中的概率。

5.根据权利要求3所述的方法，其中，生成分割图像包括从所述边界框图像中的每个边界框移除与对象不相关联的像素。

6.根据权利要求1所述的方法，其中，生成分割图像包括向所述分割图像中的各个像素分配标签，使得所述分割图像中的每个对象具有相同的标签。

7.根据权利要求1所述的方法，其中，估计每个对象的所述3D姿态包括使用神经网络从所述2D图像提取所述对象上的多个特征，针对所提取的多个特征中的每一个生成识别所述对象上的特征点的位置的概率的热图，提供组合来自所述热图的所述特征点和所述2D图像的特征点图像，以及使用所述特征点图像来估计所述对象的所述3D姿态。

8.根据权利要求7所述的方法，其中，估计每个对象的所述3D姿态包括将所述特征点图像与所述对象的3D虚拟模型进行比较。

9.根据权利要求8所述的方法，其中，估计每个对象的所述3D姿态包括使用透视n点算法。

10.根据权利要求1所述的方法，其中，所述多个对象是透明的。

11.根据权利要求1所述的方法，其中，所述一组对象包括具有不同形状的对象。

12.根据权利要求1所述的方法，其中，所述方法被用在机器人系统中，并且所述多个对象由机器人拾取。

13.一种用于获得一组透明对象中的多个透明对象的3D姿态以允许机器人拾取所述多个对象的方法，所述方法包括：

使用照相机获得所述多个对象的2D红-绿-蓝(RGB)彩色图像；

通过使用深度学习卷积神经网络执行图像分割过程来生成所述RGB图像的分割图像，所述图像分割过程从所述RGB图像提取多个特征并且向所述分割图像中的各个像素分配标签，使得所述分割图像中的各个对象具有相同的标签；

将所述分割图像分离成多个剪切图像，其中每个剪切图像包括所述多个对象中的一个对象；

估计每个剪切图像中的每个对象的3D姿态；以及

将所述3D姿态组合成单个姿态图像，其中，每次由所述机器人从所述一组对象中拾取一个对象，执行获得彩色图像、生成分割图像、分离所述分割图像、估计每个对象的3D姿态和组合所述3D姿态。

14.根据权利要求13所述的方法，其中，生成分割图像包括提供具有相同取向的多个竖直对准的边界框，使用滑动窗口模板将所述多个边界框与所提取的多个特征对准，提供包括围绕所述多个对象的边界框的边界框图像，确定对象存在于每个边界框中的概率，从每个边界框去除与对象不相关联的像素，以及识别所述多个边界框中的每个对象的中心像素。