[发明专利]基于特征融合及编解码器结构的刚体6D姿态估计方法和系统

说明书

本发明公开了基于特征融合及编解码器结构的刚体6D姿态估计方法，包括使用深度学习的方法提取物体的色彩特征和几何特征(对几何特征进行计算，以直接获得偏移量T)，处理之后进行特征融合得到融合特征；之后，将融合特征依次送入注意力编码器和残差解码器中，以得到关键点的旋转向量；最后通过Kabsch公式计算旋转矩阵R。还包括一种基于特征融合及编解码器结构的刚体6D姿态估计系统。本发明将特殊的特征提取手段、注意力机制、残差结构、编解码器的思想带入到6D姿态估计中，在保证准确率的同时提高了计算效率，能满足机器人抓取环境对实时性的要求。

技术领域

本发明属于计算机视觉领域，是一种基于特征融合及编解码器结构的刚体6D姿态估计方法和系统。

背景技术

物体的高精度姿态估计对机器人的应用至关重要，近年来引起了研究界的兴趣。利用视觉的方式检测物体及其6D姿态(3D位置和方向)是许多机器人应用的一项重要任务，包括物体操作(例如拾取和放置)、零件组装等等。在杂乱的环境中，尤其是当目标对象被遮挡时，机器判断目标物体的形心能力会有所下降。因此，使用6D姿态估计的方法，将会有效地克服这个困难。在这一背景下，研究一种帮助机器人从杂乱、堆叠环境中快速、准确地识别目标物体的6D姿态的方法具有重要意义。

经典的6D姿态估计方法由于对手工特征和模板匹配的依赖，限制了它们在严重遮挡和光照变化情况下的检测性能。近年，研究者们在目标检测领域的研究成果成功启发了一系列数据驱动的方法。这些方法使用RGB-D作为输入进行6D姿势估计，并在相关数据集上取得不错的效果。

美中不足的是，大部分主流的方法在神经网络结尾处都会使用类似PnP，ICP等细化姿态估计矩阵的方法。此类方法会增加模型推理的时间，这对于要求能进行实时检测、估计的机器运行环境来说是致命的。因此，寻求一个实时的、快速的6D姿态估计方法成为提高机器人运行效率急需解决的一个问题。

发明内容

本发明要克服现有技术的上述缺点，提供了一种基于特征融合及编解码器结构的刚体6D姿态估计方法和系统。该方法能够在保证姿态估计准确率的情况下，大大提高抓取速度。

本发明为达上述目的，所采用的技术方案为，以特征融合增加输入信息，同时通过编解码器结构代替普通的细化模块，基于特征融合及编解码器结构的刚体6D姿态估计方法，包括以下步骤：

S1：提取刚体对象的色彩特征和几何特征，具体包括：

S11：刚体对象色彩特征提取部分的设计：使用金字塔VGG网络模型提取刚体对象的色彩特征F_color，具体定义为：

F_color＝Pyramid(image)       (1)

其中，Pyramid()表示金字塔VGG网络模型，image表示输入的图像数据；

S12：刚体对象几何特征提取部分的设计：使用卷积和最大池化层的组合网络提取刚体对象的几何特征F_geometry，具体定义为：

F_geometry＝M_p(CNNs_f(points))    (2)

其中，M_p()表示Max pooling层；CNNs_f()表示用于提取点云特征的卷积层，points代表输入的点云数据，M_p()含义下同；

S13:在提取完成几何特征之后，可以直接对刚体对象的偏移量T进行估计，具体定义为：

T＝CNNs_t(F_geometry)    (3)

其中，CNNs_t()表示用于计算T的卷积层；