[发明专利]一种在三维重建辅助下进行点云中物体快速标注的方法

权利要求书

1.一种在三维重建辅助下进行点云中物体快速标注的方法，其特征在于，包括如下步骤：

获取待标注的RGB-D样本序列；

根据RGB-D样本采集位置序列构建SE(3)位姿图，并利用RGB-D样本之间的匹配关系构建采样位置之间的空间约束，进而优化SE(3)位姿图，得到RGB-D样本优化后的采集位置序列；基于优化后的采集位置序列，将RGB-D样本序列融合为全局3D地图；

采用人工标注的方式，在全局3D地图中进行物体标注；

根据标注结果，将各物体在世界坐标系中的位姿转换为对应采集位置的传感器坐标中的位姿，得到在每个采集位置，即RGB-D样本下各物体的位姿，进而与物体类别和尺寸一起构成RGB-D样本下的物体标签；

所述根据RGB-D样本采集位置序列构建SE(3)位姿图，包括：

SE(3)位姿图具体如下：

其中，和ε分别是顶点Vertex和边Edge的缩写；是SE(3)位姿图中待优化的变量，是所有RGB-D样本的采集位置序列集合；ε是优化问题的约束集，每个约束表示两个顶点s_*和点之间的空间约束；设定RGB-D样本序列Q＝{f_i|i＝1…n}，其中f_i是一个RGB-D样本，包括一个RGB彩色图像I_i和一个与深度图像等价的3D点云D_i，f_i＝(I_i，D_i)；采集位置序列为P＝{s_i|i＝0，...，n}，s_i是一个3D空间6自由度位置和姿态点，用SE(3)变量表示；

所述利用RGB-D样本之间的匹配关系构建采样位置之间的空间约束，进而优化SE(3)位姿图，得到RGB-D样本优化后的采集位置序列，包括：

通过点云配准确定采集位置对之间的空间约束：

其中，p，q表示D_＊和之间的点对，s′_＊和分别是s_★和的初始值，作为变量e的初始值；

通过下面的方程预测采集位置s_★和之间的偏移量：

根据上述空间约束条件和预测偏移量，得到SE(3)位姿图的优化目标如下：

其中，X＝{s₁，s₂，...，s_n}是待优化参数的向量，每个为一个误差项的信息矩阵；使用g2o解决上述优化问题并获得优化的采集位置序列

所述基于优化后的采集位置序列X^*，将RGB-D样本序列融合为全局3D地图，包括：

将所有RGB-D样本转换到世界坐标系中：

所有RGB-D样本都表示在同一个世界坐标系中，共同构成了环境的3D地图M：

所述采用人工标注的方式，在全局3D地图中进行物体标注，包括：

将上述三维地图M载入进行物体标注的软件，并进行人工物体标注；对于任意一个物体o_j，物体形状用一个3D bounding box表示，物体标签格式如下：

其中，c_j是物体的类别，S_j＝[w_j，l_j，h_j]是3D-BBox的大小，是物体在世界坐标系中的位姿；

设定物体垂直于世界坐标系中水平xoy平面站立，物体围绕x和y轴的旋转角度为0；

所述根据标注结果，将各物体在世界坐标系中的位姿转换为对应采集位置的传感器坐标中的位姿，即得到各样本中各物体的位姿，进而获得与RGB-D样本相对应的物体标签，包括：

采用如下矩阵，将物体o_j在世界坐标系中的位姿表达为如下矩阵形式：

其中，是物体在世界坐标系中的位置，是欧拉角等价的三维空间旋转矩阵；

然后，基于各RGB-D样本f_i优化后的采集位置将物体o_j在全局坐标系下的位姿转换到采集时刻传感器坐标中的位姿：

上述位姿旋转矩阵包含绕x轴和y轴的微小旋转，所以通过旋转矩阵与欧拉角之间的两次变换，将旋转矩阵简化如下：

这里，rot2Euler表示获取一个旋转矩阵等价的欧拉角，Euler2rot表示获取欧拉角等价的一个旋转矩阵；

最终，得到RGB-D样本f_i中物体o_j的位姿矩阵如下：

最终，通过上述方法自动获取解析后的物体标签如下：

其中，为物体o_j在RGB-D样本中的向量形式的位姿。

2.根据权利要求1所述的在三维重建辅助下进行点云中物体快速标注的方法，其特征在于，

所述在三维重建辅助下进行点云中物体快速标注的方法还包括标签验证的步骤，具体如下：

针对一个RGB-D帧f_i，使用Open3D点云分割技术获取位于标签内的子点云

计算子点云的最小凸包体积S_j；

根据表示物体o_j的3D-BBox的体积V_j判断标签的有效性：

其中，V_j＝w_j·l_j·h_j，表示是物体形状3D-BBox的体积；r是子点云最小凸包的体积与3D-BBox的体积之比，表示在当前RGB-D样本下，存在物体o_j及其标签的可信度，仅当时，标签是有效的，并被接受为RGB-D样本f_i中一个物体o_j的标签。