[发明专利]室内场景扫描重建的方法及装置

说明书

技术领域

本发明涉及三维扫描重建技术领域，特别涉及一种室内场景扫描重建的方法及装置。

背景技术

目前，三维重建技术一直是计算机视觉和计算机图形学领域研究的重点。从最初的对三维空间中一个点的三维重建到对某个特定物体的三维重建，再到对整个室内场景乃至整个城市的三维重建，三维重建的研究取得了长足的发展和进步，且已经应用到了人类日常生活的方方面面，例如：3D打印、数字博物馆、视觉跟踪、地形导航等。对于三维场景建模来说，数字化再现技术可以方便的处理和分析周围的环境信息，使得现实场景能在每个角度看清细节，最终使得不论是人类还是机器人，都可以解读所在的周边环境。现如今，随着科技的迅速发展各种3D测量设备随之出现，3D各场景的重建有了更多方法和途径。场景从一开始的简单的小型物体到复杂的大型室内外场景，使得人们生活愈加享受到3D重建带来的优越。

近年来，对大范围室内场景进行数字化的研究受到了越来越多的关注。真实场景的数字化，可以让我们可以在不同视角下充分观察欣赏场景的各个部分。近年来，多种三维测量设备的迅速发展也为三维场景重构提供了更多的实现手段。但是由于室内场景中各种物体间的互相遮挡，或数据获取装置自身的物理限制等原因，利用传统的室内场景三维重建及分割方法很难得到一个完整、较高精度的环境模型，且重建得到三维模型往往功能意义不明确，用户也无法与之交互。要想得到有明确意义的室内场景模型，我们需要对扫描重建得到地结果进行分割，但由于室内场景情况复杂、遮挡严重，使得完全使用软件算法的分割方法极具挑战性。如果在后续工作中想将此重建模型用到虚拟漫游、室内设计等应用中，很多时候都需要人为进行一些分割、识别、添加语义、实现动画等一系列工作。

在现有典型的室内场景获取工作中，通常是一个操作员手持深度摄像机在室内场景中移动来扫描捕捉场景数据。但是对于人类来说，精细化的场景扫描是一个枯燥无聊的活，特别是对于大尺度、包含很多物体的室内场景。要解决这一问题，利用移动机器人对室内场景进行全自动扫描就成了一个十分吸引人的方案。

从单个物体的点云数据中进行表面重建的研究已经趋近成熟，现今关于三维扫描和重建的研发重点越来越多地转向了室内场景。特别是随着低成本深度传感器(如微软公司的Kinect深度传感器，华硕公司的XtionLive深度传感器，Intel公司的Realsense传感器)的快速发展和SLAM相关技术的成熟，实时场景扫描和重建得到了学术界和产业界的一致重视。这些方法的共同之处是，最终都是用一个三维模型来表示整个重建的场景。然而，室内场景是由它其中的物体及物体之间的空间关系所表征的。如果不能有效地表示室内场景中有意义的、具体的物品，那么重建得到的场景三维模型的作用是有很大限制的。如之前所述的工作，因为最后得到的是单个三维模型，所以无法用于场景中的物体检索、编辑与合成。因此，更有意义、更具使用价值的室内场景重建应该要能够提取重建场景中的各种物品并由此能推断各物品之间的相关关系。

要想提取场景中的各个物品，就得对重建场景进行分割分析。传统的方法主要是利用3D模型数据要辅助进行物体提取和识别。有些工作利用室内场景中物体重复出现作为线索进行场景理解，还有一些工作利用人类在室内场景的活动数据来帮助进行场景语义分析。但是，这些工作都是使用扫描好的场景数据作为输入，这种线下的分析方法缺少关于场景结构的第一手信息，必须依靠先验知识(由人或另外的数据库提供)或者扫描时记录的额外信息才完成分析。

利用机器人对单个物体进行扫描重建在之前已经有不少工作，但是从全局重建，特别是物体级别的场景重建的角度来评价，现在只有很少的工作研究了如何进行全自动场景扫描重建。此外，目前也有一些通过机器人交互从场景中提取物体的技术方案，最接近并且最新的解决方案是一种基于机器人推动的场景中物体分割方法，该方法的核心思想是利用RGB图像和三维点云作为输入来计算推动点和推动方向，并在推动过程中提取Shi-Tomasi特征利用光流跟踪法对物体进行跟踪，最后对特征的运动轨迹进行聚类以分割物体。

综上所述，现有技术的缺点主要包括以下几点：

(1)处理场景有限：现有技术只能对桌面上的若干个物体进行分析，不能对大范围杂乱的整个室内场景进行处理。

(2)分割准确率不高：在相同交互次数(10次左右)、相同场景(桌面上的日常物品)的情况下，现有方法的分割准确率只有70％～80％。

(3)交互效率不高：现有技术对只有5-6个物体的小场景就需要推动10-12次才能得到令人满意的分割结果。