[发明专利]基于条件生成对抗网络的室内场景布局估计方法和装置

权利要求书

1.一种基于条件生成对抗网络的室内场景布局估计方法，其特征在于，包括以下步骤：

(1)运用训练集训练条件生成对抗网络，训练集中样本的格式为AB模式，即室内场景图像和其对应的边缘图并行排列，所述条件生成对抗网络包括生成网络和判别网络，室内场景图像作为生成网络的输入，由生成网络生成的室内场景图像对应的边缘图作为判别网络的输入；所述生成网络输出的边缘图与输入的室内场景图像尺寸相同；

(2)将待测的室内场景图像输入训练完成的条件生成对抗网络，得到预测布局边缘图；

(3)估计待测的室内场景图像中的位于垂直方向和水平方向上的三个消失点，对于每个消失点等角度间隔的引出射线生成若干扇形区域；

(4)对于每个消失点，根据预测布局边缘图中对应扇形区域的平均边缘强度最大准则和消失点类型选择一或两个扇形区域作为采样扇形区域；

(5)对预测布局边缘图加高斯模糊，然后对采样扇形区域进行采样，由在采样扇形区域中从三个消失点引出的射线两两相交生成一系列布局候选项；

(6)计算各布局候选项与预测布局边缘图的相似度，并选出与预测布局边缘图最为相似的布局估计作为最终的布局估计结果；

所述条件生成对抗网络中生成网络的反卷积部分由两个分支组成，第一个分支包括八层反卷积层，用于生成预测布局边缘图，第二个分支包括两层反卷积层，用于监督第一个分支工作，由第一个分支的第四层的输出结果经过两层反卷积后将输出结果大小设置成与预测布局边缘图的大小一致，然后两个结果一同输出；

所述条件生成对抗网络中生成网络的损失函数为：

其中，

其中，G^*表示生成网络的损失函数，表示最大化判别网络D中输入数据分布与真实数据分布之间的差异，最小化生成网络G的输出数据分布与真实数据分布之间的差异，x表示输入的室内场景图像，z表示输入的随机噪声，x～p_x(x)表示x的数据分布，x,y～p_data(x,y)表示x和y的联合数据分布，z～p_z(z)表示z的数据分布，G(x,z)表示生成网络的输出，y表示对应于x的真实边缘图，V_cGAN(G,D)表示对抗损失函数，E表示求归一化期望值，V_L2(G)表示L2损失函数，λ表示L2损失函数的权重，||·||符号表示取绝对值运算，V_L2(G_d4)表示生成网络中监督部分的L2损失函数，η表示该网络部分的L2损失的权重，G_d4表示生成网络中反卷积部分第四层的输出结果通过两层反卷积网络后的输出结果。

2.根据权利要求1所述的一种基于条件生成对抗网络的室内场景布局估计方法，其特征在于，步骤(3)中消失点的估计包括：

(3.1)检测出室内场景图像中满足一定长度要求的线段，将检测出的线段集合记为{l_i}，1≤i≤n，n为线段的数目，P_k为{l_i}中线段两两相交的形成第K个交点，即为候选消失点，1≤k≤K，K为{l_i}中线段两两相交的形成的交点数目，则第i个线段l_i对P_k的得分贡献为：

其中，α表示l_i与P_k和l_i中点的连线之间的夹角，σ为鲁棒性阈值，表示线段的长度；

(3.2)计算每条线段对候选消失点P_k的投票得分，得到P_k的贡献值

(3.3)对所有K个候选消失点的投票得分做统计，其中得分最高的为竖直方向的消失点VP₁，然后基于消失点的正交性准则：＜VP₁,VP₂＞＝0、＜VP₁,VP₃＞＝0、＜VP₂,VP₃＞＝0，获得投票得分最高的一组消失点为水平方向的远消失点VP₂与水平方向的近消失点VP₃。