[发明专利]一种基于深度相机的非规则物体位姿估计方法及装置

权利要求书

1.一种基于深度相机的非规则物体位姿估计方法，其特征在于：包括：

S1：利用深度相机采集户外三维场景，获取场景的二维RGB图像和对应的深度图；

S2：基于获取到的二维RGB图像，利用深层的特征提取网络提取图像信息，识别出图像中的目标候选区域，得到对应检测框；将检测框映射到深度图中并选取其中的深度信息，将识别后的深度图转换成三维点云，得到第一目标点云模型，对检测结果评估后得到置信度α；

S3：基于深度信息构建全局点云，将全局点云转化成高纬度的特征图并传入检测模块，检测和回归3D边框并获得相对应置信度β，用3D边框在全局点云中提取第二目标点云模型；

S4：将第一目标点云模型和第二目标点云模型进行质量评估和加权融合，得到融合点云模型；

S5：视锥提取，将融合点云模型从相机坐标系转换到视锥坐标系下；

S6：3D实例分割，利用3D实例分割网络对S6中视锥坐标系下的融合点云模型进行语义分割，得到融合点云模型所属类别的评估分数；结合评估分数，将视锥坐标系下的融合点云模型转换到掩模坐标系下，形成3D点云模型；

S7：以掩模坐标系下的3D点云模型为输入，对3D点云模型中的目标进行3D位姿的预测。

2.根据权利要求1所述的基于深度相机的非规则物体位姿估计方法，其特征在于：还包括：

S8：根据损失函数，计算S5～S7中在训练时产生的总体模型损失。

3.根据权利要求1所述的基于深度相机的非规则物体位姿估计方法，其特征在于：S4中的质量评估判定若α小于特定阈值，则舍弃第一目标点云模型，若β小于特定阈值，则舍弃第二目标点云模型，否则对第一目标点云模型和第二目标点云模型进行加权融合。

4.根据权利要求1所述的基于深度相机的非规则物体位姿估计方法，其特征在于：S6中在进行坐标系转换前，需结合评估份数，将视锥坐标系下的融合点云模型中的背景点云或者其他杂乱的点云剔除。

5.根据权利要求1所述的基于深度相机的非规则物体位姿估计方法，其特征在于：所述S6中掩模坐标系以融合点云模型的质心为原点，因此在转换时，融合点云模型中的所有目标点云需减去质心的坐标，从而形成掩模坐标系下的3D点云模型。

6.根据权利要求1所述的基于深度相机的非规则物体位姿估计方法，其特征在于：所述S7中3D位姿预测包括质心回归模块和非模态3D位姿评估模块；

所述质心回归模块用于将3D点云模型中的所有云点数据移动到以真实的质心为原点的坐标系下；

所述非模态3D位姿评估模块用于输出经非模态3D位姿评估模块网络处理过后的3D位姿评估的所有参数信息，该参数信息包括3D目标的质心坐标、边界框的长宽高、边界框长宽高的残差、航向角和航向角残差。