[发明专利]用于面部再现的系统和方法

权利要求书

1.一种用于面部再现的方法，所述方法包括：

通过计算设备接收目标视频，所述目标视频包括至少一个目标帧，所述至少一个目标帧包括目标面部；

通过所述计算设备接收源视频，所述源视频包括源面部；

通过计算设备并且基于所述目标视频的所述至少一个帧中的所述目标面部至少确定目标面部表情；

通过所述计算设备并且基于所述源视频的帧中的所述源面部至少确定源面部表情；

通过所述计算设备并且使用参数化面部模型和纹理模型合成输出面部，所述输出面部包括所述目标面部，其中，修改所述目标面部表情以模仿所述源面部表情；

通过所述计算设备并且基于深度神经网络(DNN)生成嘴部区域和眼部区域；以及

通过所述计算设备将所述输出面部、所述嘴部区域和所述眼部区域结合，以生成输出视频的帧。

2.根据权利要求1所述的方法，其中，所述参数化面部模型取决于面部表情、面部标识和面部纹理。

3.根据权利要求1所述的方法，其中，所述参数化面部模型包括基于多个个体的面部的历史图像预生成的模板网格，所述模板网格包括预定数量的顶点。

4.根据权利要求3所述的方法，其中，所述纹理模型包括与所述顶点相关联的颜色集。

5.根据权利要求3所述的方法，其中，所述个体具有不同的年龄、性别和种族。

6.根据权利要求3所述的方法，其中，所述面部的历史图像包括属于具有预定数量的面部表情的单个个体的至少一个照片集。

7.根据权利要求6所述的方法，其中，所述面部表情包括中性表情、张开嘴表情、微笑表情和生气表情中的至少一者。

8.根据权利要求7所述的方法，其中，所述参数化面部模型包括混合形状集，所述混合形状表示所述面部表情。

9.根据权利要求1所述的方法，其中，所述DNN的输入至少包括与所述参数化面部模型相关联的参数。

10.根据权利要求1所述的方法，其中，所述DNN的输入包括先前的嘴部区域和先前的眼部区域，所述先前的嘴部区域和所述先前的眼部区域与所述目标视频的至少一个先前帧相关联。

11.根据权利要求1所述的方法，其中，使用多个个体的面部的历史图像训练所述DNN。

12.一种用于面部再现的系统，所述系统包括：至少一个处理器、存储处理器可执行代码的存储器，其中，所述至少一个处理器被配置为在执行所述处理器可执行代码时实施下面的操作：

接收目标视频，所述目标视频包括至少一个目标帧，所述至少一个目标帧包括目标面部；

通过计算设备接收源视频，所述源视频包括源面部；

基于所述目标视频的所述至少一个帧中的所述目标面部至少确定目标面部表情；

基于所述源视频的帧中的所述源面部至少确定源面部表情；

使用参数化面部模型和纹理模型合成输出面部，所述输出面部包括其中修改所述目标面部表情以模仿所述源面部表情的所述目标面部；

基于深度神经网络(DNN)生成嘴部区域和眼部区域；以及

将所述输出面部、所述嘴部区域和所述眼部区域组合，以生成输出视频的帧。

13.根据权利要求1所述的系统，其中，所述参数化面部模型取决于面部表情、面部标识和面部纹理。

14.根据权利要求1所述的系统，其中，所述参数化面部模型包括基于多个个体的面部的历史图像预生成的模板网格，所述模板网格包括预定数量的顶点，所述个体具有不同的年龄、性别和种族。

15.根据权利要求14所述的系统，其中，所述纹理模型包括与所述顶点相关联的颜色集。