[发明专利]用于重建三维人脸图像的方法、装置、电子设备和介质

说明书

本公开提供了一种用于重建三维人脸图像的方法，涉及图像处理技术领域，尤其涉及虚拟数字人、增强现实、虚拟现实、混合现实、扩展现实、元宇宙领域。实现方案为：获取人脸的视频数据，包括人脸的多个帧，多个帧中每一帧的每个像素均包括深度信息；对于多个帧中的每一帧：基于该帧中每个像素的深度信息，确定该帧对应的单帧三维点云；并且从该帧的RGB图像中提取多个图像关键点；基于多个帧中每一帧对应的单帧三维点云，生成三维人脸点云；以及基于多个帧中的至少两帧中每一帧的多个图像关键点，对三维人脸点云进行优化，以得到目标三维人脸图像。

技术领域

本公开涉及图像处理技术领域，尤其涉及虚拟数字人、增强现实、虚拟现实、混合现实、扩展现实、元宇宙技术领域，具体涉及一种用于重建三维人脸图像的方法、装置、电子设备、计算机可读存储介质和计算机程序产品。

背景技术

当前，各种元宇宙、数字人、增强现实(AR)、虚拟现实(VR)应用场景离不开三维数字资产，而RGBD(Red Green Blue Depth)三维人脸重建正是获取数字资产的一项重要技术。

现有的RGBD人脸重建技术尚且存在一些技术瓶颈，比如，人脸配准困难或者数据噪声较大等，这些问题限制了人脸重建的精度和效率。

在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明，否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认。

发明内容

本公开提供了一种用于重建三维人脸图像的方法、装置、电子设备、计算机可读存储介质和计算机程序产品。

根据本公开的一个方面，提供了一种用于重建三维人脸图像的方法，包括：获取人脸的视频数据，所述视频数据包括所述人脸的多个帧，所述多个帧中每一帧的每个像素均包括深度信息；对于所述多个帧中的每一帧：基于该帧中每个像素的深度信息，确定该帧对应的单帧三维点云；并且从该帧的RGB图像中提取多个图像关键点；基于所述多个帧中每一帧对应的单帧三维点云，生成三维人脸点云；以及基于所述多个帧中的至少两帧中每一帧的多个图像关键点，对所述三维人脸点云进行优化，以得到目标三维人脸图像。

根据本公开的一个方面，还提供了一种用于重建三维人脸图像的装置，包括：获取单元，用于获取人脸的视频数据，所述视频数据包括所述人脸的多个帧，所述多个帧中每一帧的每个像素均包括深度信息；确定单元，用于对于所述多个帧中的每一帧，基于该帧中每个像素的深度信息，确定该帧对应的单帧三维点云；提取单元，用于对于所述多个帧中的每一帧，从该帧的RGB图像中提取多个图像关键点；生成单元，用于基于所述多个帧中每一帧对应的单帧三维点云，生成三维人脸点云；以及，优化单元，用于基于所述多个帧中的至少两帧中每一帧的多个图像关键点，对所述三维人脸点云进行优化，以得到目标三维人脸图像。

根据本公开的一个方面，还提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，其中，所述处理器被配置为执行所述计算机程序以实现上述的方法的步骤。

根据本公开的一个方面，还提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机程序被处理器执行时实现上述方法的步骤。

根据本公开的一个方面，还提供了一种计算机程序产品，包括计算机程序，其中，所述计算机程序被处理器执行时实现上述方法的步骤。

根据本公开的一个或多个实施例，可以通过融合特征关键点优化的RGBD人脸重建的方法，提升三维人脸重建的精度。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明