[发明专利]布局图的生成方法

说明书

本发明实施例公开了一种布局图的生成方法。所述生成方法包括：基于房屋图像的基本特征图与边缘线特征图，通过第一网络来确定所述房屋图像的语义分割特征图；基于所述房屋图像的基本特征图与语义分割特征图，通过第二网络来确定所述房屋图像的墙面特征图；基于所述房屋图像的基本特征图与墙面特征图，通过第三网络来确定所述房屋图像的墙角点特征图与墙角线特征图；以及基于所述房屋图像的墙角点特征图与墙角线特征图，生成所述房屋图像的布局图。本发明通过多任务联合模型的层级结构有效地抽象出多任务间的相关信息，以促进多任务的联合学习，从而可有效地提取室内布局的空间信息，进行实现室内布局图的精准生成。

技术领域

本发明实施例涉及一种布局图的生成方法。

背景技术

房屋图像布局估测是指通过单目相机获取房屋内部环境数据，进而利用人工智能模拟人的感知获取房屋布局信息。房屋图像布局估测技术可被应用于房产领域，例如，对上传的房屋现场的图像进行质量审核。另外，房屋图像布局估测技术还可被广泛应用于三维重建、机器人室内导航、VR/AR等其它领域。

目前，房屋图像布局估测技术主要依赖于传统图像算法或者神经网络学习算法。具体地，通过传统图像算法或者神经网络学习算法提取图像特征(如局部边缘、形状、颜色、纹理等)，然后通过后处理方法得到最终的房屋布局结果。由于墙角线遮挡严重以及标注误差等情况，通过现有的房屋图像布局预测技术得到的房屋布局的结果精度低，且鲁棒性不足。

发明内容

本发明的目的是提供一种布局图的生成方法，其通过逐层引导的联合学习方式有效地提取了室内布局的空间信息，从而可实现室内布局图的精准生成。

为了实现上述目的，本发明第一方面提供一种布局图的生成方法，所述生成方法包括：基于房屋图像的基本特征图与边缘线特征图，通过多任务联合模型中的第一网络来确定所述房屋图像的语义分割特征图；基于所述房屋图像的基本特征图与语义分割特征图，通过所述多任务联合模型中的第二网络来确定所述房屋图像的墙面特征图；基于所述房屋图像的基本特征图与墙面特征图，通过所述多任务联合模型中的第三网络来确定所述房屋图像的墙角点特征图与墙角线特征图；以及基于所述房屋图像的墙角点特征图与墙角线特征图，生成所述房屋图像的布局图。

在至少一个实施例中，所述通过所述多任务联合模型中的第二网络来确定所述房屋图像的墙面特征图包括：基于所述房屋图像的基本特征图与语义分割特征图，通过所述第二网络中的第一子网络来确定所述房屋图像的深度特征图；以及基于所述房屋图像的基本特征图与深度特征图，通过所述第二网络中的第二子网络来确定所述房屋图像的墙面特征图，相应地，所述通过所述多任务联合模型中的第三网络来确定所述房屋图像的墙角点特征图与墙角线特征图包括：基于所述房屋图像的基本特征图、深度特征图与墙面特征图，通过所述第三网络来确定所述房屋图像的墙角点特征图与墙角线特征图。

在至少一个实施例中，所述通过所述第三网络来确定所述房屋图像的墙角点特征图与墙角线特征图包括：基于所述深度特征图与所述墙面特征图，确定所述基本特征图中的各个墙面区域的深度信息；在所述深度信息表明第一墙面与第二墙面的间距小于预设间距的情况下，确定所述第一墙面与所述第二墙面中的深度较小的一者为非墙面；从所述墙面特征图中去除与所述非墙面对应的墙面特征，以获取更新的墙面特征图；以及基于所述更新的墙面特征图，确定所述房屋图像的墙角点特征图与墙角线特征图。

在至少一个实施例中，所述生成方法还包括：获取在虚拟现实场景中的多个房屋图像样本，其中所述多个房屋图像样本的语义分割特征、墙面特征、墙角点特征与墙角线特征均被标注；基于所述多个房屋图像样本的点云数据对所述多个房屋图像样本的深度特征进行标注，以获取被标注完成的所述多个房屋图像样本；以及采用被标注完成的所述多个房屋图像样本对所述多任务联合模型进行训练。