[发明专利]基于深度学习的人脸重建方法和装置

权利要求书

1.一种基于深度学习的人脸重建方法，其特征在于，包括：

获取人脸多视角图片数据集，利用多视角重建方法对所述人脸多视角图片数据集中的人脸多视角图片进行重建，获取不同用户的人脸三维几何和纹理图；

通过深度卷积神经网络对所述不同用户的人脸三维几何和纹理图和所述人脸多视角图片数据集进行训练，获取深度神经网络；

将待处理的人脸视频输入所述深度神经网络进行处理，获取所述人脸视频的中每一帧的人脸三维几何和纹理图；

其中，所述通过深度卷积神经网络对所述不同用户的人脸三维几何和纹理和所述人脸多视角图片数据集进行训练，获取深度神经网络，包括：

所述深度卷积神经网络的输入为人脸多视角图片，输出为人脸三维几何和纹理图，使用所述深度卷积神经网络输出和对应的强监督信号之间的损失误差作为强监督训练误差进行训练，其中，不同视角图片输入对应的输出人脸三维几何和纹理图之间的损失误差相等；

其中，利用人脸注册方法对不同的人脸几何进行注册，将所有三维人脸表示为具有相同拓扑的三维模型，所有不同的人脸都表示在相同的平面空间中。

2.如权利要求1所述的方法，其特征在于，所述将待处理的人脸视频输入所述深度神经网络进行处理，获取所述人脸视频的中每一帧的人脸三维几何和纹理图，包括：

提取所述人脸视频的每个视频帧；

对所述视频帧进行人脸识别，获取人脸图像；

对所述人脸图像进行特征提取，获取人脸三维几何和纹理图。

3.如权利要求1所述的方法，其特征在于，还包括：

通过摄像头拍摄不同用户对应的不同视角的人脸图片；和/或，接收终端发送和/或目标地址下载的不同用户对应的不同视角的人脸图片；

根据所述人脸图片生成所述人脸多视角图片数据集。

4.一种基于深度学习的人脸重建装置，其特征在于，包括：

第一获取模块，用于获取人脸多视角图片数据集，利用多视角重建方法对所述人脸多视角图片数据集中的人脸多视角图片进行重建，获取不同用户的人脸三维几何和纹理图；

训练模块，用于通过深度卷积神经网络对所述不同用户的人脸三维几何和纹理图和所述人脸多视角图片数据集进行训练，获取深度神经网络；

处理模块，用于将待处理的人脸视频输入所述深度神经网络进行处理，获取所述人脸视频的中每一帧的人脸三维几何和纹理图；

其中，所述训练模块，具体用于：

所述深度卷积神经网络的输入为人脸多视角图片，输出为人脸三维几何和纹理图，使用所述深度卷积神经网络输出和对应的强监督信号之间的损失误差作为强监督训练误差进行训练，其中，不同视角图片输入对应的输出人脸三维几何和纹理图之间的损失误差相等；

其中，利用人脸注册方法对不同的人脸几何进行注册，将所有三维人脸表示为具有相同拓扑的三维模型，所有不同的人脸都表示在相同的平面空间中。

5.如权利要求4所述的装置，其特征在于，所述处理模块，具体用于：

提取所述人脸视频的每个视频帧；

对所述视频帧进行人脸识别，获取人脸图像；

对所述人脸图像进行特征提取，获取人脸三维几何和纹理图。

6.如权利要求4所述的装置，其特征在于，还包括：

第二获取模块，用于通过摄像头拍摄不同用户对应的不同视角的人脸图片；和/或，接收终端发送和/或目标地址下载的不同用户对应的不同视角的人脸图片；

生成模块，用于根据所述人脸图片生成所述人脸多视角图片数据集。