[发明专利]定制人脸混合表情模型自动生成方法及装置

权利要求书

1.一种定制人脸混合表情模型自动生成方法，其特征在于，包括以下步骤：

S1，获取包含用户中性表情的RGB-D图像序列，利用所述RGB-D图像序列的每一帧图像对应的深度图和人脸特征点对人脸三维模板模型进行非刚性注册，将非刚性注册结果中的每个顶点输入到每一帧图像对应的深度图中生成变形数据组，所述将非刚性注册结果中的每个顶点输入到每一帧图像对应的深度图中生成变形数据组，包括：将非刚性注册结果中的每个顶点输入到每一帧图像对应的深度图中生成深度数据，对所述深度数据进行筛选生成有效深度数据，将所述有效深度数据融合在与所述人脸三维模板模型大小相同的数组中生成所述变形数据组；根据所述变形数据组对所述人脸三维模板模型进行变形；

S2，在所述RGB-D图像序列的最后一帧，通过Shape from Shading技术重建非刚性注册后的人脸三维模型中人脸的细节，根据变形后的人脸三维模板模型和重建后的人脸三维模板模型生成中性人脸三维模型；

S3，通过Deformation Transfer技术对所述中性人脸三维模型和人脸混合模型模板进行处理，生成定制人脸混合模型；

S4，通过所述定制人脸混合模型、Warping Field技术和Shape from Shading技术依次对所述中性人脸三维模型进行变形，以对所述RGB-D图像序列中的人脸进行跟踪生成人脸跟踪结果；

S5，根据所述人脸跟踪结果更新所述定制人脸混合模型；

其中，所述S4具体包括：

S41，通过所述定制人脸混合模型对所述中性人脸三维模型进行变形生成所述定制人脸混合模型的表情系数；

S42，通过Warping Field技术对所述S41中变形后的中性人脸三维模型进行变形；

S43，通过Shape from Shading技术对所述S42中变形后的中性人脸三维模型进行变形生成当前中性人脸三维模型的重建结果。

2.根据权利要求1所述的定制人脸混合表情模型自动生成方法，其特征在于，所述获取包含用户中性表情的RGB-D图像序列，包括：

用户保持中性表情，向上下左右各个方向依次旋转头部，采集每一帧用户表情图像组成所述RGB-D图像序列。

3.根据权利要求1所述的定制人脸混合表情模型自动生成方法，其特征在于，所述人脸跟踪结果包括：

所述当前中性人脸三维模型的重建结果和所述人脸混合模型的表情系数。