[发明专利]一种三维人脸处理方法及电子设备

说明书

本申请提供一种三维人脸处理方法包括：重建视频序列中的三维人脸，以获取三维人脸参数集；以及使用三维人脸对应的二维人脸图像纹理，为所述三维人脸参数集添加时域约束，并优化所述三维人脸参数集，以使得所述三维人脸参数集在时域上与二维人脸图像纹理满足预设条件，其中所述时域约束由二维图像纹理的一致性表征。本申请还提供了相应的电子设备。通过上述方案，本申请保证重建后的三维人脸参数的时域连续，并保证三维人脸参数稳定平滑，并且不会造成迟滞问题。

技术领域

本申请的所公开实施例涉及图像处理技术领域，且更具体而言，涉及一种三维人脸处理方法及电子设备。

背景技术

随着计算机图形学与计算机视觉技术的联系日趋紧密，基于3DMM(三维可变形人脸模型，3D Morphable models)参数化三维人脸模型的研究进展迅速，由单个RGB人脸图像估计对应三维人脸模型参数的研究方案亦愈发多见。

目前，基于视频的三维人脸重建任务由于其相对复杂的任务流程，造成逐帧之间生成的三维模型参数差异较大，从而造成生成的三维模型网格在时域上抖动明显。

发明内容

根据本申请的实施例，本申请提出一种三维人脸处理方法及电子设备。

根据本申请的第一方面，公开一种实例性的三维人脸处理方法。实例性的三维人脸处理方法包括：重建视频序列中的三维人脸，以获取三维人脸参数集；以及使用三维人脸对应的二维人脸图像纹理，为所述三维人脸参数集添加时域约束，并优化所述三维人脸参数集，以使得所述三维人脸参数集在时域上与二维人脸图像纹理满足预设条件，其中所述时域约束由二维图像纹理的一致性表征。

在一些实施例中，所述视频序列包括当前帧人脸图像以及下一帧人脸图像，所述三维人脸参数集包括当前帧三维人脸参数以及下一帧三维人脸参数，其中，所述当前帧三维人脸参数用于表示当前帧三维人脸网格，所述下一帧三维人脸参数用于表示下一帧三维人脸网格；所述使用三维人脸对应的二维图像纹理，为所述三维人脸参数集添加时域约束，包括：根据所述当前帧人脸图像及所述当前帧三维人脸网格，获取当前帧纹理图像；使用所述当前帧纹理图像渲染所述下一帧三维人脸网格，以将所述下一帧三维人脸网格投影到所述当前帧人脸图像，得到当前帧合成图像。

在一些实施例中，所述优化所述三维人脸参数集，包括：获取所述当前帧合成图像到所述下一帧人脸图像的光流，通过所述光流修正所述下一帧三维人脸网格的顶点到所述下一帧人脸图像的平面的投影，以达到优化目标，从而使得所述下一帧三维人脸参数在时域上与所述下一帧人脸图像的纹理满足所述预设条件。

在一些实施例中，所述优化目标包括第一子目标和第二子目标；所述第一子目标用于表征纹理连续项，其中，所述纹理连续项是由在已优化的所述下一帧三维人脸参数的作用下所述下一帧三维人脸网格的第n个顶点在所述下一帧人脸图像的坐标下的位置以及在未优化的所述下一帧三维人脸网格的第n个顶点经过所述光流修正后在所述下一帧人脸图像的坐标下的位置而计算得到的；所述第二子目标用于表征Z坐标平滑项，其中，所述Z坐标平滑项是由在已优化的所述下一帧三维人脸参数的作用下的第m个三维人脸关键点的Z坐标值以及在所述当前帧三维人脸参数作用下的第m个三维人脸关键点的Z坐标值而计算得到的。

在一些实施例中，所述纹理连续项的值与Z坐标平滑项的值之和小于预设值，则所述下一帧三维人脸参数在时域上与所述下一帧人脸图像的纹理连续性满足预设连续性条件，且所述下一帧三维人脸参数的Z坐标满足预设平滑条件。

在一些实施例中，所述当前帧合成图像是采用任意可微分渲染器而获取的。

在一些实施例中，该方法进一步包括：为所述三维人脸参数集添加三维人脸对应的二维关键点约束；所述优化所述三维人脸参数集进一步包括：通过所述二维关键点约束，优化所述三维人脸参数集，以实现所述三维人脸参数集与二维人脸图像的一致性。