[发明专利]图像处理方法、图像处理装置、电子设备和存储介质

说明书

本公开公开了一种图像处理方法、图像处理装置、电子设备和存储介质，涉及增强现实、深度学习和图像处理等人工智能技术领域，尤其涉及人脸重建领域。具体实现方案为：基于输入图像，确定关于对象的形状参数、纹理参数和静态皱纹参数；使用形状参数重建关于对象的粗重建形状，并使用纹理参数计算关于对象的粗重建纹理图；基于静态皱纹参数、形状参数和纹理参数，确定精重建形状和精重建纹理图；以及基于粗重建形状、粗重建纹理图、精重建形状和精重建纹理图执行渲染处理，得到针对输入图像的粗重建图像和精重建图像。

技术领域

本公开涉及增强现实、深度学习和图像处理等人工智能技术领域，尤其涉及人脸重建领域，具体涉及一种用于人脸重建的图像处理方法、图像处理装置、电子设备和存储介质。

背景技术

常见的经3D重建的人脸表面很光滑，不能反映人脸细节信息。这是因为一般的重建方式(比如Blendshape)采用线性模型进行人脸重建。然而，实际上，人脸是非线性模型，并且人脸表面会凹凸不平，但是这种细节信息不能通过纹理图反应，而是从形状上体现出细节的不平整。或者，采用基于骨骼驱动的方式，该方式需要预先建立骨骼点与局部3D点之间的连接关系，并通过驱动骨骼点实现人脸从平均脸变形以重建新的人脸。

发明内容

本公开提供了一种用于人脸重建的图像处理方法、图像处理装置、电子设备和存储介质。

根据本公开的一方面，提供了一种图像处理方法，包括：基于输入图像，确定关于对象的形状参数、纹理参数和静态皱纹参数；

使用所述形状参数重建关于所述对象的粗重建形状，并使用所述纹理参数计算关于所述对象的粗重建纹理图；

基于所述静态皱纹参数、所述形状参数和所述纹理参数，确定精重建形状和精重建纹理图；以及

基于所述粗重建形状、所述粗重建纹理图、所述精重建形状和所述精重建纹理图执行渲染处理，得到针对所述输入图像的粗重建图像和精重建图像。

根据本公开的另一方面，提供了一种图像处理装置，包括：参数确定模块，用于基于输入图像确定关于对象的形状参数、纹理参数和静态皱纹参数；

粗重建模块，用于使用所述形状参数重建关于所述对象的粗重建形状，并使用所述纹理参数计算关于所述对象的粗重建纹理图；

精重建模块，用于基于所述静态皱纹参数、所述形状参数和所述纹理参数确定精重建形状和精重建纹理图；以及

渲染模块，用于基于所述粗重建形状、所述粗重建纹理图、所述精重建形状和所述精重建纹理图执行渲染处理，得到针对所述输入图像的粗重建图像和精重建图像。

根据本公开的另一方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开中所述的图像处理方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行本公开中所述的图像处理方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本公开中所述的图像处理方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：