[发明专利]基于条件生成对抗网络的室内场景布局估计方法和装置

说明书

本发明公开了一种基于条件生成对抗网络的室内场景布局估计方法和装置，该方法包括：运用训练集训练条件生成对抗网络，将待测室内图像输入至训练完成的条件生成对抗网络，预测生成与输入图像尺寸相同的布局边缘图；估计待测室内图像的消失点，从每个消失点等角度间隔引出射线，生成若干扇形区域；根据平均边缘强度最大准则确定采样扇形区域；对预测布局边缘图加高斯模糊，然后对采样扇形区域进行采样生成布局候选项；选出与预测布局边缘图最为相似的空间布局作为最终的布局估计结果。本发明为生成场景布局边界图提供更加完整的原始信息，无需显式假设数据的参数分布，能提高布局估计的准确率，在室内场景理解和三维重建任务中具有重要的应用价值。

技术领域

本发明涉及一种基于条件生成对抗网络(cGAN)的室内场景布局估计方法和装置，属于图像场景理解技术领域。

背景技术

图像场景理解一直都是计算机视觉领域的研究热点，室内场景布局估计作为其初始也是关键单元，基本目标是根据给定的室内场景图像恢复出场景内房间的布局结构。用一个3维立体盒子模拟室内空间布局，从中找到墙-地板、墙-墙、墙-天花板的边界，然而，因为场景内部存在大量的杂物，例如家具、个人等，都会对房间的布局边界造成遮挡，使得布局的恢复变得极具挑战性。准确的房间布局估计需要计算机来从总体视角来理解房间，而不仅仅依赖于局部线索。且完整的原始图像信息和学习能力强大且简单的网络框架能够使计算机更好地理解室内场景的空间结构布局。

近年来，许多的场景布局估计研究工作中致力于提出有效的方法进行布局估计。文献[Hedau V,Hoiem D,Forsyth D.Recovering the spatial layout of clutteredrooms.International Conference on Computer Vision.2009:1849-1856.]提出将房间布局边界参数化为3D盒模型结构，基于估计的消失点生成布局候选项，提取线段、几何上下文等特征进行学习。文献[Lee D C,Hebert M,Kanade T.Geometric reasoning forsingle image structure recovery.Computer Vision and Pattern Recognition.2009:2136-2143.]在此基础之上又引入方向图特征，通过方向图用最合适的布局来评估的布局假设，其中方向图是由线段切割计算出来的。文献[Schwing A G,Hazan T,Pollefeys M,etal.Efficient structured prediction for 3D indoor scene understanding.IEEEConference on Computer Vision and Pattern Recognition.2012:2815-2822.]提出一种新的参数化方法，将房间布局边界参数化为由消失点引出的成对射线之间的夹角，问题转化为四个离散随机变量的基础预测，对目标函数采用新方法求解。随着卷积神经网络狂潮的掀起，文献[Mallya A,Lazebnik S.Learning Informative Edge Maps for IndoorScene Layout Prediction.International Conference on Computer Vision.2015:936-944.]对场景布局的边界进行预测，提取新的边界特征。在前面研究的基础之上，本发明人在文献专利申请CN201710274710中提出以VGG-16为原型的全卷积神经网络预测信息化边界图，并将其与布局类别信息融合生成全局特征，已进行对布局候选项的粗选取，再将线段成员信息、几何上下文信息、法向量和深度经几何积分图像形成区域级特征，以对布局候选项进行进一步选取。但该方法从特征提取和模型求解这两方面进行优化，所涉及的特征都是从既定场景布局候选项的划分区域内逐个提取拼接而成，多个特征的提取导致网络模型复杂度高，模型参数求解困难。

发明内容

发明目的：为了解决现有的技术问题，本发明提供一种基于条件生成对抗网络的室内场景布局估计方法和装置，以准确估计室内场景的空间布局，得到房间三维结构。

技术方案：为实现上述目的，本发明采用以下技术方案：