[发明专利]一种基于点云的类别级的物体的质心与位姿估计

说明书

本发明提供了一种基于点云的类别级的物体的质心与位姿估计的算法。通过视觉算法对同一类别未见过物体的质心进行确定,即在训练时加入同一类别的一些CAD模型进行训练,但在检测时可以检测出同一个类别从未见过得实例。输入单张RGBD图片来对目标进行检测、分类及质心确定。避免了传统方法通过六边形包络盒确定质心偏差较大、无法测量未见过物体尺寸、每个物体都需要一个CAD模型对应等问题。包括：1)提出了输入单张RGBD图片来预测物体三维信息；2)解决了物体受遮挡情况下预测三维信息的问题；3)解决了已知类别未见过对象的物体的质心与位姿估计问题；4)解决了不同检测物体、不同摆放姿态、不同位置的三维信息预测问题。

技术领域

本发明涉及视觉领域，具体而言，涉及一种类别级的物体质心与位姿估计问题。

背景技术

对同类物体不同大小或者不同物体进行分拣,分拣系统的核心问题就是确定物体的类别与物体的质心,即确定物体在分拣时对应的分类及物体在三维空间下的坐标。传统的分拣多采用重量以及光电等传感器进行分拣,然而这种方法无法分辨出来杂质,也无法准确定心。随着深度学习的发展,2D目标检测已经运用于分拣领域,但是基于视觉分拣的方法一般是采用处理二维图片的方法来检测物体的质心并对物体进行分拣。如果光照环境有所变化可能会导致错误识别物体质心甚至无法检测到物体的情况,同时相机位置的变化可能也会对结果产生较大影响。而且二维的质心仅限于平面质心,可能无法确定物体所处的姿态,无法确定物体的高度信息,质心的计算也不准确。

发明内容

本发明的目的在于提供一种基于点云的类别级的物体的质心与位姿估计的算法，解决了以前三维检测每一个物体都需要一个CAD模型的问题，以及解决了同一个类别未见过物体的质心与位姿估计。

本发明是通过如下措施实现的：一种基于点云的类别级的物体的质心与位姿估计算法，其特征在于，包括自动编码器，通过输入同一类物体的一些CAD模型，生成了一类物体的平均先验形状。将平均先验形状，图片面片与观测到的点云输入网络中，生成了一个变形场。然后通过变形场将先验形状变形得到重建的物体的点云，并通过Umeyama算法来将观测到的点云与重建后的点云的比例，旋转矩阵以及平移矩阵，然后选取重建后的模型的9个特征(8个包围盒的顶点和1个质心)点并将其变换到观测到的实例上去，以此来计算出物体位姿，尺寸以及质心，从而确定物体的三维信息。

所述自动编码器输入为n×3(n×1×3×1：点数×长×宽×通道数)有64个1×3的卷积核,每个卷积核对点云进行卷积操作,并生成一个通道,64个卷积核共计生成64个通道。得到的结果为n×64(n×1×1×64点数×长×宽×通道数)成功将数据升维到64通道。再将n×64与128个1×1的64通道卷积核相乘,将64维升到128维。通过共享多层感知机(shared MLP)输出为n×128；然后经过最大池化将n个具有128维特征的数据转化为一个1×128的全局特征向量；然后通过将全局信息附在每一个局部点描述的后面,形成了n×256的向量；之后在经过相同的操作,通过共享多层感知机和最大池化将数据输出为1×1024的全局特征向量；再通过全连接层输出512个点云分类值；之后通过一个解码器,包括三个全连接层,输出n×3的数据,具体流程如图1所示。