[发明专利]一种基于人脸图像生成动画的方法及计算设备

说明书

本发明公开了一种基于人脸图像生成动画的方法，包括：提取人脸图像的人脸特征点；利用人脸特征点生成人脸三维模型及该人脸三维模型对应的第一投影矩阵；通过人脸三维模型计算得到人脸图像的全图三维网格模型；根据全图三维网格模型和第一投影矩阵计算全图纹理坐标；通过修改第一投影矩阵的参数生成第二投影矩阵；通过第一投影矩阵和第二投影矩阵对全图三维网格模型和人脸三维模型进行投影，生成三维重建后的图像；通过全图纹理坐标对三维重建后的图像进行纹理贴图生成处理后图像；依次重复上述修改参数、投影和纹理贴图的步骤，得到多个处理后图像；以及根据多个处理后图像生成动画。本发明一并提供了执行上述方法的计算设备。

技术领域

本发明涉及图像处理技术领域，尤其是一种基于人脸图像生成动画的方法及计算设备。

背景技术

用户在日常拍摄、社交等过程中，希望能够对一张图像中的人脸进行一些动态调整，以增加趣味性。

目前对人脸图像进行动态调整的技术主要是基于二维图像的处理变换和基于三维人脸模型重建的方法。仅仅二维图像上的处理往往会存在面部扭曲变形、平面感较强等问题，故越来越多的技术采用基于三维人脸模型重建的方法。而现有的基于三维人脸模型重建技术主要是基于三维人脸模型数据的线性组合，通过人脸2D和对应3D关键点的投影匹配求得组合参数，最终得到能较好表征二维图像中人脸部分的三维人脸模型，继而对三维人脸模型进行相应的动态处理以得到不同的动态调整图像，可以用来实现不同的应用，如，日常生活中，人们常希望对一张图像进行动态处理后，得到一段姿态变换的动画(短视频)。但已有的三维人脸模型重建技术更多地是只考虑人脸区域，忽略了其他非人脸的区域，如头发，脖颈，肩膀等其它身体部分，往往只扣出人脸区域进行处理、对非人脸的背景区域采取保持不变的处理方案，这样在合成动态处理后图像的时候，非人脸部分的背景区域和人脸区域无法得以很好地融合。尤其当利用多张这样的动态处理后图像形成视频时，难以实现整体的自然流畅的动画效果。

因此，需要一种基于三维人脸模型重建的优化方案，能够实现对单张人脸图像进行三维建模后动态调整得到相应的动画，在富有趣味性的同时，保证姿态变化的效果自然。

发明内容

为此，本发明提供了一种基于人脸图像生成动画的方法及计算设备，以力图解决或者至少缓解上面存在的至少一个问题。

根据本发明的一个方面，提供了一种基于人脸图像生成动画的方法，该方法包括步骤：提取人脸图像的人脸特征点，其中人脸图像包括人脸区域和背景区域；利用人脸特征点生成人脸三维模型及该人脸三维模型对应的第一投影矩阵；通过人脸三维模型计算得到所述人脸图像的全图三维网格模型；根据全图三维网格模型和第一投影矩阵计算全图纹理坐标；通过修改第一投影矩阵的参数生成第二投影矩阵；通过第一投影矩阵和第二投影矩阵对全图三维网格模型和人脸三维模型进行投影，生成三维重建后的图像；通过全图纹理坐标对三维重建后的图像进行纹理贴图生成处理后图像；依次重复上述修改参数、投影和纹理贴图的步骤，得到多个处理后图像；以及根据多个处理后图像生成动画。

可选地，在根据本发明的方法中，利用人脸特征点生成人脸三维模型及该人脸三维模型对应的第一投影矩阵的步骤包括：利用三维形变模型3DMM根据人脸特征点生成该人脸图像的人脸三维模型和该人脸三维模型对应的第一投影矩阵。

可选地，在根据本发明的方法中，利用三维形变模型3DMM生成人脸三维模型和第一投影矩阵的步骤包括：预先建立人脸空间基底和投影矩阵的初始参数；利用人脸特征点、通过人脸空间基底和初始参数拟合出该人脸图像的人脸三维模型；以及根据该人脸三维模型所对应的投影矩阵的参数得到第一投影矩阵。

可选地，在根据本发明的方法中，通过人脸三维模型计算得到人脸图像的全图三维网格模型的步骤包括：根据人脸三维模型的深度差计算该人脸图像中背景区域的深度，得到该人脸图像的全图三维网格模型。