[发明专利]一种基于单视图三维重建的人脸blendshape生成方法

说明书

本发明公开了一种基于单视图三维重建的人脸blendshape生成方法，包括如下步骤：利用基于深度学习的单视图三维人脸重建方法，并利用现有数据集，训练从单张RGB人脸图片恢复出人脸三维结构的网络；将所述目标模型集导入主流三维动画软件中合成blendshape。本发明实现了基于一张二维人脸图片生成整个包括各种表情模型的blendshape，优化了流程，避免了人工建模操作的繁琐，大大降低了人力物力投入；本发明第一部分人脸重建部分采用编码器解码器结构，使用UV位置图表示三维人脸信息，重建出的人脸具有更加丰富的细节信息，避免了传统方法中出现的缺失人脸纹理细节的问题。

技术领域

本发明涉及计算机动画技术领域，具体涉及一种基于单视图三维重建的人脸blendshape生成方法。

背景技术

随着计算机技术的发展，人脸复现的方式越来越多样化。

结构光以及双目摄像头可以较好的重建人脸的三维结构，但是通过具有深度信息的人脸图片进行人脸重建成本较高，不具有普适性。

因此，如何从单张图像信息中恢复出三维人脸具有较高的研究价值。

人脸blendshape动画技术在计算机动画和游戏领域有着广泛应用，是一种通过表情系数模拟全新人脸表情的技术。

blendshape的制作需要手工采集大量的人脸表情生成人脸模型或者基于单个人脸模型制作大量的表情模型生成，耗时且效率低下。

发明内容

本发明所要解决的技术问题是通过单张图像，并通过blendshape的制作需要手工采集大量的人脸表情生成人脸模型或者基于单个人脸模型制作大量的表情模型生成，耗时且效率低下。本发明的目的在于提供一种基于单视图三维重建的人脸blendshape生成方法，以解决上述耗时和效率低下的问题。

本发明通过下述技术方案实现：

一种基于单视图三维重建的人脸blendshape生成方法，包括如下步骤：

利用基于深度学习的单视图三维人脸重建方法，并利用现有数据集，训练从单张RGB人脸图片恢复出人脸三维结构的网络；

在训练所得网络中输入一张中性人脸图片以及多张表情图片，进而取得多个三维人脸模型作为源模型集；

在训练所得网络中输入意图生成blendshape的人脸图片，生成目标模型；

利用三角网格形变传递方法和基于深度学习重建人脸时所得人脸的68个人脸关键点位置实现自动化形变传递，将所述源模型集中的自然表情到多个非自然表情的形变根据对应的关键点传递到目标模型上，生成目标模型集；

将所述目标模型集导入主流三维动画软件中合成blendshape。

在一些实施方式中，所述步骤利用基于深度学习的单视图三维人脸重建方法，并利用现有数据集，训练从单张RGB人脸图片恢复出人脸三维结构的网络包括如下子步骤：

对数据集进行增广；

对数据集进行预处理；

设计编码器解码器网络结构；

设计损失函数进行网络训练。

在一些实施方式中，所述步骤利用基于深度学习的单视图三维人脸重建方法，并利用现有数据集，训练从单张RGB人脸图片恢复出人脸三维结构的网络中，包括：

对所述数据集数据进行预处理，并生成UV位置图。

在一些实施方式中，所述步骤利用基于深度学习的单视图三维人脸重建方法，并利用现有数据集，训练从单张RGB人脸图片恢复出人脸三维结构的网络中，包括如下子步骤：

设计编码器-解码器结构网络；