[发明专利]一种基于神经网络的多房间室内户型图重建方法

说明书

本发明公开了一种基于神经网络的多房间室内户型图重建方法，本发明在室内稠密三维重建模型的基础上使用Mask‑Rcnn神经网络，将拥有多个房间的场景分割为多个单房间小场景，将单个房间中的所有墙面提取出来，将构成墙面所有的点做平面投影，对2D投影平面图的结果做线段拟合，将每面墙用一个2D线段表示，再计算线段与线段的交点得到整体房间的角点，将所得角点按顺序相连，最后将线段沿着Z轴方向拔高得到模型户型图结构。本发明在对场景中的重建时，消除了不同房间之间的干扰，保证了重建后结果的完整性，在对场景中的房间角点计算时，引入了传统的计算方法，对于角点计算的结果相比于神经网络检测的结果更加精确。

技术领域

本发明属于计算机图形学中的三维模型重建、深度学习领域，是一种充分利用深度学习的室内户型图结构重建方法，可以进一步的完善实时稠密重建的重建效果，未来可应用于AR和VR领域。

背景技术

在虚拟现实(VR)、增强现实(AR)或者混合现实(MR)领域中，往往需要将虚拟的数字化场景、物体或者其他数字化信息和真实环境进行互动，三维重建技术将作为一种将真实场景或者物体转换成虚拟场景或物体的接口，在真实环境与虚拟物体进行交互过程中起着至关重要的作用。

在新房装修的时候装修设计人员都需要将完整的房屋结构绘制一个平面图，然后再基于平面图的信息构建三维的空间结构并且在模型中完成进行房屋的装修设计。现有的三维重建技术虽然能够将完成的稠密三维模型重建出来，但是这个重建过程往往需要拿着传感器缓慢的对整个室内环境中的所有物体以及整个场景进行全方位无死角的扫描，最终才能生成完整的室内稠密模型，这个过程往往十分耗费时间，且稍有不慎就会使得模型中出现一些孔洞。在用户实际使用VR等设备进行现实三维环境稠密重建时，生成的三维模型中不可避免的存在孔洞，此时在孔洞的干扰下，真实场景和虚拟物体进行交互的过程中就会出现错误的互动，影响用户的体验。本专利针对重建后的三维模型不准确有孔洞，无法准确反映出一个室内房屋的整体结构的问题，提出了一种对重建的三维模型上进行户型图结构分析重建的技术。

发明内容

针对现有技术中存在的不足，本发明提供了一种基于神经网络的多房间室内户型图重建方法。

本发明在室内稠密三维重建模型的基础上使用Mask-Rcnn神经网络，将拥有多个房间的场景分割为多个单房间小场景。再将单个房间单独处理，将单个房间中的所有墙面提取出来，将构成墙面所有的点做一个从3D到2D的平面投影，通过对2D投影平面图的结果做线段拟合，将每面墙用一个2D线段表示，再计算线段与线段的交点就可以看做是整体房间的角点，将所得角点按顺序相连，并且将线段沿着Z轴方向拔高3D模型的高度就可以得到模型户型图结构。

一种基于神经网络的多房间室内户型图重建方法，包括以下步骤：

步骤(1)：单房间检测；

使用Mask-Rcnn对多房间的室内稠密三维重建模型进行单个房间检测。

通过Mask-Rcnn神经网络，将所有的房间分割成独立的单个房间，并且用一个bounding-box框出，对每一个独立的房屋打上标签结果。

步骤(2)：单个房间中的所有墙面提取；

通过Ransac平面检测方法对房间中所有的大平面进行检测，计算出所有平面的参数信息，再基于平面参数计算得到该各个平面的法向量数据，将所有法向量平行于Z轴的平面保留作为墙面，所有法向量垂直于Z轴的平面作为地面和天花数据剔除。

步骤(3)：2D投影以及线段拟合；

将3D空间中墙平面所有的点投影到X0Y的2D平面中。并且通过Ransac直线拟合方法，将从3D投影到2D平面后的所有点云数据拟合成数条有长度线段，对每一个墙平面投影得到点做一个有长度的线段拟合；投影后的2D平面即为房间结构的粗略地面区域。

步骤(4)：单房间户型图重建；