[发明专利]基于低质量RGB-D数据的场景恢复方法及装置

说明书

本发明涉及三维建模技术领域，特别是涉及一种基于低质量RGB‑D数据的场景恢复方法及装置。本发明提供的一种基于低质量RGB‑D数据的场景恢复方法及装置，通过首先根据语义关系以及点云分类器恢复出场景中的主要物体模型，然后从对应的彩色图像准确的提取出小物体的轮廓，采用轮廓检索方法来帮助恢复细小物体。这样极大提高了从低质量RGB‑D图像序列中恢复三维模型的准确率，实现了在不需要人工干预的前提下自动恢复出语义上正确的、视觉上逼真的虚拟三维场景模型。

技术领域

本发明涉及三维建模技术领域，特别是涉及一种基于低质量RGB-D数据的场景恢复方法及装置。

背景技术

随着互联网上三维模型数量的增加(例如Google 3D Warehouse等模型库)以及模型检索技术的发展，即使是没有任何专业技术背景的普通人也可以通过搜索和摆放模型来构建室内三维场景模型。尤其是在消费级深度相机(如Microsoft Kinect)普及后，室内场景点云采集的成本越来越低，数字化构建虚拟室内场景的需求变得越来越旺盛。

传统的三维重建方法，其目标是精确地恢复出物体的几何结构；而通过模型库中的虚拟三维模型来匹配点云的方法则更强调利用点云检索出语义上正确的、视觉上符合标准的模型。这种新兴的重建方法被成为语义重建。

现有的语义重建方法要么需要大量人工交互，比如“An interactive approachto semantic modeling of indoor scenes with an RGBD camera(一种从RGBD相机中恢复室内场景的交互方法)”，需要人工的分割，选择和摆放模型；要么对采集设备的精度有着较高的要求，比如“A search-classify approach for cluttered indoor sceneunderstanding(一种基于“搜索-分类”模式的复杂室内场景理解)”。

发明内容

针对现有技术中需要大量人工交互以及对采集设备精度要求高的缺陷，本发明提供了一种基于低质量RGB-D数据的场景恢复方法及装置。

一方面，本发明提供一种基于低质量RGB-D数据的场景恢复方法，包括：

获取RGB-D图像，并对所述RGB-D图像进行拼接，得到过分割拼接后的场景点云；

根据语义关系以及点云分类器，将所述场景点云与模型库中的模型进行匹配；所述语义关系为从扰动后的模型中提取得到的物体之间的语义关系，所述点云分类器为针对每一类别的物体模型分别训练出基于点云的分类器；

提取所述场景点云中未能匹配模型的小物体的轮廓，根据所述语义关系与所述模型库中的模型进行轮廓匹配。

进一步地，在所述获取RGB-D图像的步骤之前，所述方法还包括：

对模型库中的模型进行模拟现实世界场景的扰动，并从扰动后的模型中提取物体之间的语义关系；

针对所述模型库中每一类别的物体模型分别训练出点云分类器。

进一步地，所述对模型库中的模型进行模拟现实世界场景的扰动的步骤，包括：

多次更新模型库中小物体模型的位置和朝向对所述模型库中的模型进行模拟现实世界场景的扰动，并从扰动后的模型中提取物体之间的语义关系。

进一步地，所述将所述场景点云与所述模型库中的模型进行匹配的步骤，包括：

采用自顶向下的匹配方法识别场景点云，并判断是否满足预设的置信度，若是则将所述场景点云与识别出的物体模型进行匹配；

否则，将所述场景点云分割成不可能属于同一物体的两个以上部分；

将分割后得到的场景点云重复执行上述步骤。