[发明专利]用于重建三维人脸图像的方法、装置、电子设备和介质

权利要求书

1.一种用于重建三维人脸图像的方法，所述方法包括：

获取人脸的视频数据，所述视频数据包括所述人脸的多个帧，所述多个帧中每一帧的每个像素均包括深度信息；

对于所述多个帧中的每一帧：

基于该帧中每个像素的深度信息，确定该帧对应的单帧三维点云；并且

从该帧的RGB图像中提取多个图像关键点，所述多个图像关键点包括用于标记所述人脸的第一区域的结构关键点，所述人脸在所述第一区域发生的形状和/或角度变化符合预设条件；

基于所述多个帧中每一帧对应的单帧三维点云，生成三维人脸点云，所述三维人脸点云的生成过程包括计算得到所述多个帧相应的多个单帧三维点云之间的位姿关系，并基于所述位姿关系对所述多个单帧三维点云进行融合对齐以生成所述三维人脸点云；以及

基于所述多个帧中的至少两帧中每一帧的多个图像关键点，对所述三维人脸点云进行优化，以得到目标三维人脸图像，其中，所述至少两帧中包括第三帧和第四帧，所述第三帧的多个图像关键点与所述第四帧的多个图像关键点相对应，所述三维人脸点云的优化过程包括使所述至少两帧中的相对应的图像关键点的三维坐标之间的差值最小化，对所述至少两帧中的相对应的图像关键点进行匹配对齐以优化每帧点云的位姿和深度，并基于优化后的每帧点云的位姿和深度以及所述三维人脸点云，获得所述目标三维人脸图像。

2.根据权利要求1所述的方法，其中，所述基于所述多个帧中的至少两帧中每一帧的多个图像关键点，对所述三维人脸点云进行优化，包括：

从所述多个帧中至少选择第一帧和第二帧，其中，所述第一帧的多个图像关键点中至少包括第一结构关键点，所述第一结构关键点与所述第二帧的多个图像关键点中的第二结构关键点相对应；

分别确定所述第一结构关键点和所述第二结构关键点在所述三维人脸点云中的三维坐标；以及

基于所述第一结构关键点的三维坐标和所述第二结构关键点的三维坐标之间的第一差值，对所述三维人脸点云进行优化。

3.根据权利要求2所述的方法，其中，所述多个图像关键点还包括所述人脸的语义关键点，所述语义关键点用于指示人脸预设部位的语义信息，并且其中，所述第一帧的多个图像关键点还包括第一语义关键点，所述第二帧的多个图像关键点还包括第二语义关键点，其中，所述第一语义关键点和所述第二语义关键点具有相同的语义信息，其中，所述方法还包括：

分别确定所述第一语义关键点和所述第二语义关键点在所述三维人脸点云中的三维坐标；以及

所述基于所述第一结构关键点的三维坐标和所述第二结构关键点的三维坐标之间的第一差值，对所述三维人脸点云进行优化，包括：

基于所述第一差值和第二差值，对所述三维人脸点云进行优化，所述第二差值为所述第一语义关键点的三维坐标和所述第二语义关键点的三维坐标之间的差值。

4.根据权利要求3所述的方法，其中，所述基于所述第一差值和第二差值，对所述三维人脸点云进行优化，包括：

为所述第一差值分配第一权重，以调整所述第一差值；

为所述第二差值分配第二权重，以调整所述第二差值；以及

基于经调整的第一差值和经调整的第二差值，对所述三维人脸点云进行优化。

5.根据权利要求4所述的方法，其中，所述第一权重小于所述第二权重。