[发明专利]一种基于增强自编码器的室内目标物体6D姿态估计方法

权利要求书

1.一种基于增强自编码器的室内目标物体6D姿态估计方法，所述的方法分成三个阶段：

多目标物体检测阶段：

首先输入单幅彩色图像到改进版的Faster R-CNN，然后RPN网络提取出候选框，再通过全卷积网络输出目标类别概率和二维边界框；

增强自编码器(AAE)预测物体关键点阶段：

利用概率期望连接多目标物体检测阶段与增强自编码器预测物体关键点阶段，通过训练改进版的堆叠式降噪自动编码器(SDAE)对感兴趣区域编解码出相同尺寸的无噪声感兴趣区域，再通过全连接层(fc)预测出目标物体在二维图像上的关键点；

计算目标物体的6D姿态估计阶段：

根据关键点计算出目标物体的6D姿态；

多目标物体检测阶段的具体步骤如下：

1-1.输入单幅彩色图像到Faster R-CNN的特征提取器ResNet101网络中进行特征提取，得到特征图，该特征图会用在后面的区域提名网络(RPN网络)和全卷积层(FCN)；

1-2.将得到的特征图输入给RPN网络，RPN网络使用9个锚点，因为使用到的数据集LINEMOD中的目标类别多为小目标，所以锚点尺度大小分别设置为128*128、192*192和256*256像素，长宽比分别为1∶1、1∶2和2∶1，得到候选框；

1-3将步骤1-1得到的特征图和步骤1-2得到的候选框输入给下采样池化模块，将感兴趣区域映射产生固定大小为7*7像素的特征图；

1-4将步骤1-3的特征图输入给代替全连接层的全卷积层，得到目标物体的类别和二维边界框，目标物体的类别用概率表示，边界框指目标物体在图像中的左上角和右下角坐标点组成的矩形框区域；

增强自编码器预测物体关键点的具体步骤如下：

2-1.采用改进版的堆叠式去噪自编码器(SADE)，SDAE是逐层训练的去噪自动编码器(DAE)，为了让网络训练收敛，采用ReLU的方法，并且通过修改SDAE的网络结构与隐变量参数，得到增强自编码器，从而提高去噪能力；

2-2.将多目标物体检测阶段得到的感兴趣区域(Rois)输入给增强自编码器进行训练，感兴趣区域的尺寸大小调整为128*128像素；

2-3.将尺寸为128*128的感兴趣区域输入给增强自编码器的编码器(Encoder)，编码器是对输入编码映射为隐变量的过程，这个隐变量中包含了输入的所有特征，由6个卷积层、6个ReLU激活层、1个Flatten压平层和1个全连接层，其中隐变量单元设为128；

2-4.将编码器编码后的隐变量输入给解码器(Decoder)，解码器对隐变量进行解码，由6个卷积层、6个ReLU激活层、1个Flatten压平层和1个全连接层组成，隐变量单元设为128，得到新的感兴趣区域I，依然是用隐变量进行表示；

2-5.将步骤2-4得到的无噪声图像再次经过步骤2-2和2-3操作获得新的感兴趣区域的隐变量表示，再此基础上加上一个全连接层，用于预测物体的三维包围盒的8个关键点在感兴趣区域的投影。

2.根据权利要求1所述的一种基于增强自编码器的室内目标物体6D姿态估计方法，其特征在于，计算物体的6D姿态估计阶段的具体步骤如下：

3-1.将增强自编码器预测到的物体的三维包围盒的8个关键点在感兴趣区域的投影输入给EPnP算法；

3-2.提取LINEMOD数据集自带的点云模型(.ply)中的世界坐标系下的特征点，此特征点是三维坐标点，表示为(x，y，z)；

3-3.提取LINEMOD数据集自带的相机内参矩阵，相机参数是固定的；

3-4.相机的畸变参数矩阵设为1个8维全0的矩阵；

3-5.将三维坐标点、8个关键点、相机内参矩阵和相机的畸变参数矩阵输入给OpenCV的SolvePnP求解出三维旋转矩阵R和三维平移矩阵T，从而求得目标物体的6D姿态。