[发明专利]定制人脸混合表情模型自动生成方法及装置

说明书

本发明公开了一种定制人脸混合表情模型自动生成方法及装置，该方法包括：利用RGB‑D图像序列的每一帧图像对应的深度图和人脸特征点对人脸三维模板模型进行非刚性注册，根据非刚性注册结果和Shape from Shading对人脸三维模板模型进行变形生成中性人脸三维模型；通过Deformation Transfer对中性人脸三维模型和人脸混合模型模板进行处理，生成定制人脸混合模型；通过定制人脸混合模型、Warping Field和Shape from Shading依次对中性人脸三维模型进行变形，生成人脸跟踪结果来更新定制人脸混合模型。该方法可以实时生成逼真的人脸表情模型。

技术领域

本发明涉及人脸动画三维重建技术领域，特别涉及一种定制人脸混合表情模型自动生成方法及装置。

背景技术

高精度定制混合人脸表情模型，包含人做一些特定表情时人脸的形状，不同的形状构成了混合模型中的不同的表情基。在电影、动画以及游戏等领域，能够通过一组表情系数组，快速生成人脸的三维动画。

定制人脸混合表情模型是电影以及动画中经常需要使用的用于制作人脸动画的人脸三维表情模型，同样也可以用于人脸跟踪任务。一般使用的用于制作高精度人脸混合模型的方法，往往需要昂贵的设备。简单的自动化方法在很难达到精度上的要求，无法还原人脸上如痣、皱纹等细节。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种定制人脸混合表情模型自动生成方法，该方法从人脸彩色和深度序列中的人脸进行高精度跟踪，并且将高精度跟踪结果直接用于生成定制的人脸混合模型。

本发明的另一个目的在于提出一种定制人脸混合表情模型自动生成装置。

为达到上述目的，本发明一方面实施例提出了一种定制人脸混合表情模型自动生成方法，包括：

S1，获取包含用户中性表情的RGB-D图像序列，利用所述RGB-D图像序列的每一帧图像对应的深度图和人脸特征点对人脸三维模板模型进行非刚性注册，将非刚性注册结果中的每个顶点输入到每一帧图像对应的深度图中生成变形数据组，根据所述变形数据组对所述人脸三维模板模型进行变形；

S2，在所述RGB-D图像序列的最后一帧，通过Shape from Shading技术重建非刚性注册后的人脸三维模型中人脸的细节，根据变形后的人脸三维模板模型和重建后的人脸三维模板模型生成中性人脸三维模型；

S3，通过Deformation Transfer技术对所述中性人脸三维模型和人脸混合模型模板进行处理，生成定制人脸混合模型；

S4，通过所述定制人脸混合模型、Warping Field技术和Shape from Shading技术依次对所述中性人脸三维模型进行变形，以对所述RGB-D图像序列中的人脸进行跟踪生成人脸跟踪结果；

S5，根据所述人脸跟踪结果更新所述定制人脸混合模型。

本发明实施例的定制人脸混合表情模型自动生成方法，通过利用RGB-D图像序列的每一帧图像对应的深度图和人脸特征点对人脸三维模板模型进行非刚性注册，根据非刚性注册结果和Shape from Shading对人脸三维模板模型进行变形生成中性人脸三维模型；通过Deformation Transfer对中性人脸三维模型和人脸混合模型模板进行处理，生成定制人脸混合模型；通过定制人脸混合模型、Warping Field和Shape from Shading依次对中性人脸三维模型进行变形，生成人脸跟踪结果来更新定制人脸混合模型。从人脸彩色和深度序列中的人脸进行高精度跟踪，并且将高精度跟踪结果直接用于生成定制的人脸混合模型，实现了高精度定制人脸混合表情模型的自动生成，能够实时地生成逼真的人脸表情模型。

另外，根据本发明上述实施例的定制人脸混合表情模型自动生成方法还可以具有以下附加的技术特征：