[发明专利]一种基于语义分割的三维室内场景重建方法

权利要求书

1.一种基于语义分割的三维室内场景重建方法，其特征在于，具体按照如下步骤实施：

步骤1，通过体素滤波采样方法和SIFT特征点提取的方法分别对室内场景进行下采样，然后将通过体素滤波采样方法和SIFT特征点提取的方法采样得到的采样点进行融合，对重复的采样点只保留一个作为有效点，获得下采样后的室内点云数据；

步骤2，对步骤1获得的下采样后的室内点云数据进行平面提取，对提取过平面的数据进行语义分割和精细化分割，将室内场景中的物体区分开来；

具体为：

步骤2.1，采用RANSAC平面提取方法对步骤1得到的下采样后的室内场景点云数据进行平面提取；

步骤2.2，将平面提取后的结果输入PointNet网络进行训练和测试，从而完成初步的语义分割；

具体为：

步骤2.2.1，将开源数据集S3DIS的6个室内场景数据用步骤1-2.1进行处理，得到6组包括平面特征的室内点云数据，其中，前5组作为训练数据，第6组作为测试数据；将训练数据和测试数据均表示为一个n*10的二阶张量，其中，n表示点云中点的数量，10对应坐标和特征的维度，10个维度包括点云中点的三个坐标x、y、z，颜色R、G、B，三个轴的法向量normal_x、normal_y、normal_z、以及所属平面Plane，其中，所属平面Plane特征是步骤2.1得到的，三个法向量特征是在PointNet神经网络中，通过法向量计算函数得到的；

步骤2.2.2，将训练数据输入到PointNet神经网络框架中训练，得到语义分割网络模型；

步骤2.2.3，将测试数据输入到步骤2.2.2中得到的语义分割网络模型，输出语义分割结果，此时，测试数据的每个点都获得了它的语义分类标签，对应室内场景中每一类物体均被分割；

步骤2.3，对经过初步的语义分割得到语义标签的数据，使用基于投影的区域生长优化算法对同类物体进行进一步的精细化分割；

具体为：

步骤2.3.1，把经过语义分割后的点云投影到xoy平面上，把点对之间的空间距离转换到共面点之间的距离；

步骤2.3.2，对投影到平面上的点云用区域生长算法进行聚类，将投影后的点云聚成一团一团的点，每一团点代表一个物体；

步骤2.3.3，把区域生长聚类的结果恢复到点云，完成室内物体的细分割；

步骤3，将经过分割的室内场景内环境及外环境进行模型匹配与平面拟合从而完成三维重建；

具体为：

步骤3.1，将步骤2中室内场景分割后的结果进行划分：将室内物体划分为内环境场景元素，将房间墙壁上及结构型物体划分为外环境场景元素；

对内环境场景元素进行重建，将内环境的场景元素与对应类别的标准模型库中的标准模型进行匹配，找到最优匹配模型并用该模型替换掉对应的场景元素；

步骤3.2，对外环境场景重建，先对门墙以外的外环境元素使用平面拟合的方式进行重建，门使用模型匹配的方法进行重建，墙面的重建为在平面拟合方法的基础上，将拟合的平面去掉孔洞区域，从而完成墙面的重建。