[发明专利]一种基于增强自编码器的室内目标物体6D姿态估计方法

说明书

本发明公开了一种基于增强自编码器的室内目标物体6D姿态估计方法。本发明分成三阶段：多目标物体检测阶段：首先输入单幅彩色图像到改进版的Faster R‑CNN，然后RPN网络提取出候选框，再通过全卷积网络输出目标类别概率和二维边界框；增强自编码器预测物体关键点阶段：利用概率期望连接多目标物体检测阶段与增强自编码器预测物体关键点阶段，通过训练改进版的堆叠式降噪自动编码器对感兴趣区域编解码出相同尺寸的无噪声感兴趣区域，再通过全连接层预测出目标物体在二维图像上的关键点；计算目标物体的6D姿态估计阶段：根据关键点计算出目标物体的6D姿态。本发明对于背景杂乱与物体存在遮挡的情况下具有很强的鲁棒性，对光照、颜色不敏感且不要求物体具有丰富的纹理特征。

技术领域

本发明涉及姿态估计领域，具体公开一种基于增强自编码器的室内目标物体6D姿态估计方法。

背景技术

单幅彩色图像的目标检测与物体6D姿态在工业与移动机器人操作、虚拟现实、增强现实的人机交互中都起着非常重要的作用，遮挡问题在6D姿态估计问题中是最具有挑战性的问题之一。

目前姿态估计的主流方法中，主要分为基于模板匹配的方法、基于点的方法、基于描述子的方法、基于特征学习方法和基于卷积神经网络端到端的方法。这些方法在处理复杂环境下的遮挡问题，鲁棒性不是很理想。

基于模板匹配的方法需要对检测的目标物体做大量采样工作，提取足够多并且鲁棒匹配的模板，在对模板进行匹配才能得到大致的物体姿态，最后再使用ICP精化结果，虽然模版匹配方法对于低纹理的物体可以比较高效的进行姿态估计，但是其对姿态大量变化的物体就非常麻烦，因为其需要大量的模版去匹配，而且其无法解决物体遮挡问题。

基于点的方法基本是通过点云上面少量点对构成描述子来做的，通过任意两个点都计算PPF描述子，构建模型哈希表，以描述子为键，以这两个点为点对，通过两个点云的匹配来计算其刚体变换矩阵，求得物体姿态，但是这种方法非常耗时耗力；

基于描述子的方法是提高匹配点的精度，从而提升物体姿态的准确度，不过点的方法和描述子的方法耗时耗力巨大，都比较依赖点的质量，且需要丰富的纹理特征；

基于特征学习的方法是通过学习物体的特征来进行物体姿态估计，通过传统的机器学习方法(如随机森林)学习物体特征来回归预测物体的姿态，如Latent-Class HoughForests系列工作，但是这类方法很难处理对称性物体和遮挡物体；

基于卷积神经网络端到端的方法是最近比较流行的方法，但是该方法需要大量的训练数据，尤其是三维的标注数据非常难以获得，这类方法先用卷积神经网络提取特征点，然后用PnP方法计算出姿态(包括三维旋转矩阵R与三维平移矩阵T),但是这些方法大多是针对单个目标，没有考虑多个目标之间的遮挡情况，虽然也有学者提出多个目标的方法如Singleshot6D和SSD-6D，但是对于遮挡效果并不太好，浙江大学提出的PVNet对于遮挡效果不错，但是其方法是基于像素投票的，比较耗费资源且对结果做了很多处理，算法比较复杂。

综上所述，现有技术存在的问题是：基于模板匹配的方法对于遮挡物体表现不理想，且需要后续复杂处理；基于点的方法和基于描述子的方法对点质量和纹理特征要求较高；基于特征学习的方法很难处理对称性物体和遮挡物体；基于卷积神经网络端到端的方法对于多目标在杂乱场景及物体之间的遮挡解决不好，后续处理较多，无法满足实际应用需求。

发明内容

针对现有技术存在的问题，本发明提出了一种基于增强自编码器的室内目标物体6D姿态估计方法与系统。

为实现上述目的，本发明的技术方案为一种基于增强自编码器的室内目标物体6D姿态估计方法与系统，具体技术方案包括以下步骤：

本发明方法分成三个阶段：

多目标物体检测阶段：