[发明专利]基于单张手绘草图的三维模型生成方法、装置和电子设备

说明书

本发明提供一种基于单张手绘草图的三维模型生成方法、装置和电子设备，包括：获取单张手绘草图；将所述单张手绘草图输入三维构建模型，输出所述单张手绘草图对应的三维模型；其中，所述三维构建模型是基于单张手绘草图样本和对应的视角标签进行训练得到的，所述三维构建模型中包括视角预测网络，用于提取输入单张手绘草图的预测视角。本发明提供的方法、装置和电子设备，可以预测用户提供的手绘草图的视角，使得后续生成的三维模型在预测视角的基础上避免歧义。

技术领域

本发明涉及三维模型生成技术领域，尤其涉及一种基于单张手绘草图的三维模型生成方法、装置和电子设备。

背景技术

三维模型的构建是几何绘制的基础，基于草图的三维建模可以协助相关工作人员完成费时费力的建模操作。现有的基于草图的三维建模方法主要可以分为检索式和构建式两类。其中，检索式方法将预定义好的模板元模型组成三维模型，或直接从模型集合中进行检索抽取；构建式方法则直接将输入的笔画映射至三维模型，相比检索式方法可以提供自由度更高的建模能力。这两种方法都有着明显的弊端：检索式方法只能生成特定的三维模型，或只能由某些基本形状组成的三维模型；而构建式方法由于缺少先验知识，通常需要较大的工作量才能得到令用户满意的结果。此外，随着触摸屏的普及，以及VR/AR技术的发展，非专业用户对于三维内容创作的需求愈发增长，而以上两种方法都不能满足普通用户对于易用性和可定制性的需求。

为了满足普通用户的三维内容创作需求，一些工作借助深度学习技术尝试从单张手绘草图生成三维模型。Wang等人提出“Unsupervised learning of 3D modelreconstruction from hand-drawn sketches”，通过检索的方式从手绘草图生成体素表示的三维模型。Wang等人提出“3D shape reconstruction from free-hand sketches”，可以从单张手绘草图生成点云表示的三维模型。上述两个方法一方面没有直接生成三角网格表示的三维模型，无法直接用于后续的编辑和绘制；另一方面忽视了手绘草图中普遍存在的歧义性，所生成的三维模型不能很好地表示用户的意图。

因此，如何避免现有的基于手绘草图生成的三维模型由于无法估计用户的视角意图造成三维模型歧义严重的情况，仍然是本领域技术人员亟待解决的问题。

发明内容

本发明提供一种基于单张手绘草图的三维模型生成方法、装置和电子设备，用以解决现有的基于手绘草图生成的三维模型由于无法估计用户的视角意图造成三维模型歧义严重的问题，通过在进行三维构建模型训练时引入视角标签使得训练出来的三维构建模型可以预测用户草图的准确视角，该准确视角在三维构建模型中可以提供视角信息使得构建好的三维模型的视角与草图视角一致，避免三维模型相对于草图的存在歧义。

本发明提供一种基于单张手绘草图的三维模型生成方法，该方法包括：

获取单张手绘草图；

将所述单张手绘草图输入三维构建模型，输出所述单张手绘草图对应的三维模型；

其中，所述三维构建模型是基于单张手绘草图样本和对应的视角标签进行训练得到的，所述三维构建模型中包括视角预测网络，用于提取输入单张手绘草图的预测视角。

根据本发明提供的一种基于单张手绘草图的三维模型生成方法，

所述三维构建模型的网络结构包括依次连接的图像编码器、所述视角预测网络、视角编码器和三维生成网络，所述图像编码器与所述三维生成网络连接。

根据本发明提供的一种基于单张手绘草图的三维模型生成方法，所述三维构建模型的网络结构包括依次连接的图像编码器、所述视角预测网络、视角编码器和三维生成网络，所述图像编码器与所述三维生成网络连接，具体包括：

所述三维构建模型的训练过程中，