[发明专利]基于单张手绘草图的三维模型生成方法、装置和电子设备

权利要求书

1.一种基于单张手绘草图的三维模型生成方法，其特征在于，包括：

获取单张手绘草图；

将所述单张手绘草图输入三维构建模型，输出所述单张手绘草图对应的三维模型；

其中，所述三维构建模型是基于单张手绘草图样本和对应的视角标签进行训练得到的，所述三维构建模型中包括视角预测网络，用于提取输入单张手绘草图的预测视角。

2.根据权利要求1所述的基于单张手绘草图的三维模型生成方法，其特征在于，所述三维构建模型的网络结构包括依次连接的图像编码器、所述视角预测网络、视角编码器和三维生成网络，所述图像编码器与所述三维生成网络连接。

3.根据权利要求2所述的基于单张手绘草图的三维模型生成方法，其特征在于，所述三维构建模型的网络结构包括依次连接的图像编码器、所述视角预测网络、视角编码器和三维生成网络，所述图像编码器与所述三维生成网络连接，具体包括：

所述三维构建模型的训练过程中，

图像编码器用于将输入的单张手绘草图样本进行编码得到形状特征向量和视角特征向量并分别输出至三维生成网络和视角预测网络；

所述视角预测网络用于对所述视角特征向量进行预测解码得到预测视角，基于所述预测视角与对应的视角标签确定预测视角误差；

视角编码器用于将输入所述对应的视角标签进行编码得到新的视角特征向量输出至三维生成网络；

所述三维生成网络基于所述新的视角特征向量和所述形状特征向量生成预测三维模型；

在所述三维构建模型的输出端连接可微渲染模块，所述可微渲染模块基于预测三维模型生成预测掩模，基于所述预测掩模和标准掩模确定预测三维模型误差；

训练过程中的损失函数是基于所述预测三维模型误差和所述预测视角误差构建的。

4.根据权利要求3所述的基于单张手绘草图的三维模型生成方法，其特征在于，所述训练过程中的损失函数是基于所述预测三维模型误差和所述预测视角误差构建的，具体包括：

所述预测三维模型误差基于所述预测掩模和所述标准掩模之间的误差表征，所述标准掩模为所述单张手绘草图样本的掩模。

5.根据权利要求4所述的基于单张手绘草图的三维模型生成方法，其特征在于，所述预测掩模包括所述预测三维模型在所述对应的视角标签下的掩模和基于随机视角构建的随机预测三维模型在所述随机视角下的掩模。

6.根据权利要求5所述的基于单张手绘草图的三维模型生成方法，其特征在于，所述损失函数，具体包括：

所述预测三维模型在所述对应的视角标签下的掩模与所述单张手绘草图样本和所述标准掩模之间的交并比，基于随机视角构建的随机预测三维模型在所述随机视角下的掩模与所述标准掩模之间的交并比，以及，

所述对应的视角标签和所述随机视角在经过形状判别器之后的交叉熵。

7.根据权利要求3-6中任一项所述的基于单张手绘草图的三维模型生成方法，其特征在于，还包括：

获取所述单张手绘草图对应的指定视角；

相应地，所述将所述单张手绘草图输入三维构建模型，输出所述单张手绘草图对应的三维模型，包括：

将所述单张手绘草图输入所述三维构建模型的图像编码器输出形状特征向量至所述三维构建模型；

将所述指定视角输入所述视角编码器输出指定视角向量特征至所述三维构建模型；

所述三维构建模型基于所述形状特征向量和所述指定视角向量特征生成三维模型。

8.一种基于单张手绘草图的三维模型生成装置，其特征在于，包括：

获取单元，用于获取单张手绘草图；

构建单元，用于将所述单张手绘草图输入三维构建模型，输出所述单张手绘草图对应的三维模型；

其中，所述三维构建模型是基于单张手绘草图样本和对应的视角标签进行训练得到的，所述三维构建模型中包括视角预测网络，用于提取输入单张手绘草图的预测视角。