[发明专利]基于学习预测的室内布局估计方法及系统

说明书

本发明公开了一种基于学习预测的室内布局估计方法及系统，该方法包括：构建训练集，并利用训练集内的训练样本进行训练反卷积网络；所述训练样本为房间布局图及其对应的边缘图，房间布局图及其对应的边缘图分别作为反卷积网络的输入和输出；将待测房间布局图输至训练完成的反卷积网络，输出预测的边缘图；计算待测房间布局图中预设方向的消失点，生成若干个扇区；再基于预测的边缘图，从生成的若干个扇区中选择局部最大边缘强度的扇区为采样扇区；对采样扇区采样，得到一系列候选的房间布局估计图；再根据房间布局估计图与得到的边缘图的相似性，从候选的房间布局估计图中筛选出与预测的边缘图最接近的房间布局估计图作为最终的房间布局图。

技术领域

本发明属于图像处理领域，尤其涉及一种基于学习预测的室内布局估计方法及系统。

背景技术

房间布局估计是用一个最合适的3维立体结构来模拟房间空间。换句话说，这个问题等同于从一个房间中找到所有的墙-地板，墙-墙，墙-天花板的边界。不幸的是，这些边界与各种不是房间的边缘混合在一起，并且不总是可见的。准确的房间布局估计需要计算机来从总体视角来理解房间，而不仅仅依赖于局部线索。

基于区域信息的图像特征被广泛用于以前的工作中。Hedau等人提出了一个经典的框架用于房间布局估计：在候选产生阶段，估算三个相互正交的消失点。然后通过从垂直和无限远水平的消失点中均匀采样，会产生一系列的候选布局。在排序阶段，每个候选布局会被赋予一个学习到的结构化回归量的得分，得分最高的布局被选为最终结果。Schwing等人对每个消失点密集采样50条射线，并将积分几何分解用于高效的结构化预测。李等人通过方向图用最合适的布局来评估的布局假设，其中方向图是由线段切割计算出来的。王等人比较重视室内的混杂程度，并共同用隐变量模拟了房间的五个面和混杂布局。上述这些方法均是借助传统手工提取的特征，有很多需要手动调节的参数，且最后的估计结果误差较大。

发明内容

为了解决现有技术的缺点，本发明的第一目的是提供一种基于学习预测的室内布局估计方法。

本发明的一种基于学习预测的室内布局估计方法，包括：

步骤1：构建训练集，并利用训练集内的训练样本进行训练反卷积网络；所述训练样本为房间布局图及其对应的边缘图，房间布局图及其对应的边缘图分别作为反卷积网络的输入和输出；

步骤2：将待测房间布局图输至训练完成的反卷积网络，输出预测的边缘图；

步骤3：计算待测房间布局图中预设方向的消失点，生成若干个扇区；再基于预测的边缘图，从生成的若干个扇区中选择局部最大边缘强度的扇区为采样扇区；

步骤4：对采样扇区采样，得到一系列候选的房间布局估计图；再根据房间布局估计图与步骤2得到的边缘图的相似性，从候选的房间布局估计图中筛选出与预测的边缘图最接近的房间布局估计图作为最终的房间布局图。

本发明的该方法首先利用反卷积网络对输入图像的每一个局部区域进行分类，从而得到一个低分辨率的标签图，然后对一个有很大内核和步幅的反卷积层进行双线性插值，以便对原始输入尺寸进行上采样标签图，本发明通过反卷积网络预测五个房间面的分割掩膜，而不是房间边缘，然后基于预测的掩膜被大量优化，从而改善最终的结果。

所述步骤3中的消失点包括待测房间布局图中垂直方向的消失点、水平方向的近消失点和水平方向的远消失点。

其中，对室内图像，有三个在空间互相正交的消失点，竖直方向有一个，水平方向有两个，其中距离图像中心更远的为远消失点，另一个为近消失点。

所述步骤3中，计算待测房间布局图中预设方向的消失点，生成若干个扇区的具体过程为从消失点发出射线，均匀分割待测房间布局图，得到一定数目的扇区。

步骤3中从生成的若干个扇区中选择局部最大边缘强度的扇区为采样扇区的过程为：选择的扇区数目不固定，被选中的扇区需要满足两个条件：