[发明专利]一种在三维重建辅助下进行点云中物体快速标注的方法

说明书

本发明涉及人工智能领域，具体涉及一种在三维重建辅助下进行点云中物体快速标注的方法，在获取待标注的RGB‑D样本序列后，该方法根据RGB‑D样本的3D采集位置序列和RGB‑D样本间点云匹配关系构建一个SE(3)位姿图，在完成位姿图优化后，基于优化后的RGB‑D样本采集位置序列，该方法将RGB‑D样本融合为一个全局的3D地图，并在该3D地图中进行人工物体标注。然后，根据优化后的各RGB‑D样本采集位置，将世界坐标系下的物体标签自动转换至各RGB‑D样本坐标系。得到每个RGB‑D样本下各物体的位姿以及标签。对于环境中的每一个真实物体，该方法只需要进行一次人工标注，就可以自动得到物体在不同RGB‑D样本中的物体标签，能够大幅减少人工标注的工作量。

技术领域

本发明涉及人工智能领域，具体涉及一种在三维重建辅助下点云中物体快速标注的方法。

背景技术

监督学习仍然是深度学习算法的主流方法之一，它对数据的需求非常大，需要大量的标记样本进行训练和评估。例如流行的目标检测算法yolov4，yoloX使用大约40GB数据集MS,COCO进行训练，实现从RGB图像中检测物体。3D物体检测如VoteNet，Group-Free使用SUN,RGB-D数据集进行训练，获得从点云中检测3D物体的能力。同样，庞大的数据集Nuscene也用以支持自动驾驶智能算法的研究。

除了公共数据集之外，算法在某些特定行业的应用还需要准备特定任务相关的数据集。众包是目前比较流行的一种方法，众包将很多人同时组织起来进行人工标注工作，最后所有完成标记的样本构成最终的数据集，但这项工作费时并且成本昂贵。

针对这一问题，提高标注的效率至关重要。一类方法利用无监督或弱监督学习来加速物体注释。通过一种无监督的方法从RGB样本中提取特征，基于这些特征人工注释一小部分样本，然后将标签传播到其他未标记的RGB样本中。此外，为了降低在点云中标注物体的难度，现有的一种方式是通过标注对齐后的RGB图像中的物体，间接实现点云的标注。其过程是只在RGB图像上标注物体的2D方框，然后运行一个自动标注器，可以从2D方框导出的子点云中自动估计出一个高质量的3D方框，从而实现对自动驾驶使用的点云中物体的自动标注。

虽然上述已有方法中有其自身的优点，但是一般室内场景RGB-D样本采集密集，相邻采集位置的视野重叠明显，环境中的同一物体会在多个RGB-D样本的视野中重复出现。这种情况下，传统的物体标注需要在多个,RGB-D,样本中多次标注同一物体，大大增加了非必要的人工标注的成本。

发明内容

有鉴于此，为了解决上述技术问题，本发明提供一种在三维重建辅助下进行点云中物体快速标注的方法。

本发明采用以下技术方案：

一种在三维重建辅助下进行点云中物体快速标注的方法，包括如下步骤：

获取待标注的RGB-D样本序列；

根据RGB-D样本采集位置序列构建SE(3)位姿图，并利用RGB-D样本之间的匹配关系构建采样位置之间的空间约束，进而优化SE(3)位姿图，得到RGB-D样本优化后的采集位置序列；基于优化后的采集位置序列，将RGB-D样本序列融合为全局3D地图；

采用人工标注的方式，在全局3D地图中进行物体标注；

根据标注结果，将各物体在世界坐标系中的位姿转换为对应采集位置的传感器坐标中的位姿，得到在每个采集位置，即RGB-D样本下各物体的位姿，进而与物体类别和尺寸一起构成RGB-D样本下的物体标签。

进一步地，在所述获取待标注的RGB-D样本序列之后，所述点云中物体快速标注方法还包括：通过构建和优化SE(3)位姿图，实现对环境的三维重建。

进一步地，所述根据RGB-D样本采集位置序列构建SE(3)位姿图，包括：

SE(3)位姿图具体如下：