[发明专利]一种基于单视图三维重建的人脸blendshape生成方法

权利要求书

1.一种基于单视图三维重建的人脸blendshape生成方法，其特征在于，包括如下步骤：

利用基于深度学习的单视图三维人脸重建方法，并利用现有数据集，训练从单张RGB人脸图片恢复出人脸三维结构的网络；

在训练所得网络中输入一张中性人脸图片以及多张表情图片，进而取得多个三维人脸模型作为源模型集；

在训练所得网络中输入意图生成blendshape的人脸图片，生成目标模型；

利用三角网格形变传递方法和基于深度学习重建人脸时所得人脸的68个人脸关键点位置实现自动化形变传递，将所述源模型集中的自然表情到多个非自然表情的形变根据对应的关键点传递到目标模型上，生成目标模型集；

将所述目标模型集导入主流三维动画软件中合成blendshape。

2.根据权利要求1所述的基于单视图三维重建的人脸blendshape生成方法，其特征在于，所述步骤利用基于深度学习的单视图三维人脸重建方法，并利用现有数据集，训练从单张RGB人脸图片恢复出人脸三维结构的网络包括如下子步骤：

对数据集进行增广；

对数据集进行预处理；

设计编码器解码器网络结构；

设计损失函数进行网络训练。

3.根据权利要求1所述的基于单视图三维重建的人脸blendshape生成方法，其特征在于，所述步骤利用基于深度学习的单视图三维人脸重建方法，并利用现有数据集，训练从单张RGB人脸图片恢复出人脸三维结构的网络中，包括：

对所述数据集数据进行预处理，并生成UV位置图。

4.根据权利要求1所述的基于单视图三维重建的人脸blendshape生成方法，其特征在于，所述步骤利用基于深度学习的单视图三维人脸重建方法，并利用现有数据集，训练从单张RGB人脸图片恢复出人脸三维结构的网络中，包括如下子步骤：

设计编码器-解码器结构网络；

将二维人脸图像输入编码器，提取此图像区域特征；

经过解码器，得到人脸UV位置图参数。

5.根据权利要求4所述的基于单视图三维重建的人脸blendshape生成方法，其特征在于，所述步骤利用基于深度学习的单视图三维人脸重建方法，并利用现有数据集，训练从单张RGB人脸图片恢复出人脸三维结构的网络中，包括：

设计损失函数，损失函数如下：

其中，P(x,y)为输入图片经过编码器-解码器结构网络后的输出结果，为预处理所得到的UV位置图ground truth，W(x,y)为权重遮罩。

6.根据权利要求5所述的基于单视图三维重建的人脸blendshape生成方法，其特征在于，所述步骤利用基于深度学习的单视图三维人脸重建方法，并利用现有数据集，训练从单张RGB人脸图片恢复出人脸三维结构的网络中，包括：

将增广所得人脸图像以及预处理所得UV位置图传入编码器-解码器结构网络中进行训练；人脸图像作为输入，预处理所得UV位置图作为ground truth，使用所述损失函数计算训练损失值，不断迭代进行模型训练。

7.根据权利要求6所述的基于单视图三维重建的人脸blendshape生成方法，其特征在于，所述步骤利用基于深度学习的单视图三维人脸重建方法，并利用现有数据集，训练从单张RGB人脸图片恢复出人脸三维结构的网络包括：

编码器-解码器结构网络包含编码器模块和解码器模块，所述编码器模块使用ResNeSt网络；编码器内部包括1个单卷积层，8个split attention模块；每个所述split attention模块可包含1×1卷积层、2×2平均池化层、SplitAttention卷积层以及BatchNormal层；解码器模块包含若干上采样层。