[发明专利]一种基于级联回归的三维表情重建方法

说明书

本发明中提出的一种基于级联回归的三维表情重建方法，其主要内容包括：标记拟合、特征提取、回归和评估，其过程为，先对每个输入图像使用算法分别检测内部标记边界标记，然后将2D标记拟合到3D形变模型，估计模型参数和映射矩阵，接着从3D标记投影周围的输入图像的局部块中提取方向梯度直方图特征，用标记位移特征定义为每个标记位置与其对应模型顶点的投影位置之间的差异，再使用级联回归来估计模型参数，并且同时迭代地更新映射矩阵，最后用均方根误差和均值误差进行评估。本发明使用级联回归来估计三维形变模型参数，克服了缩放、旋转和不同光照的影响，重建较高逼真度的三维脸部形状，提高了重建的质量和鲁棒性。

技术领域

本发明涉及表情重建领域，尤其是涉及了一种基于级联回归的三维表情重建方法。

背景技术

人脸在人类的交流中起着十分重要的信息表达功能，传递着人类的情感和精神状态。而脸部的表情在表情分析中很重要，因为它表达了人们的情绪、思想和意图。人脸表情识别、重建和合成技术具有广泛的应用前景，如通过人脸表情重建和合成，使计算机能够产生细腻逼真的人脸表情动画，能够进一步增加人机交互的趣味性，创造更为良好的交互氛围；在娱乐、游戏、动画等中利用表情重建技术模拟角色等，可以大大降低制作成本，提高工作效率；通过重建与合成技术，再现嫌疑人的脸部，可以为案件侦破和追捕提高关键线索；通过人脸表情动画合成功能，可以为设计心理学交互模型和脸部外科手术的预测提供研究平台。传统的表情重建方法在标记时往往采用人工标记，这种标记方式效率低又耗费人力，同时由于利用单个RGB图像重建人脸几何形状，使得其容易受到各种照明条件、缩放和旋转的影响，不利于实现表情的重建。

本发明提出了一种基于级联回归的三维表情重建方法，先对每个输入图像使用算法分别检测内部标记边界标记，然后将2D标记拟合到3D形变模型，估计模型参数和映射矩阵，接着从3D标记投影周围的输入图像的局部块中提取方向梯度直方图特征，用标记位移特征定义为每个标记位置与其对应模型顶点的投影位置之间的差异，再使用级联回归来估计模型参数，并且同时迭代地更新映射矩阵，最后用均方根误差和均值误差进行评估。本发明使用级联回归来估计三维形变模型参数，克服了缩放、旋转和不同光照的影响，重建较高逼真度的三维脸部形状，提高了重建的质量和鲁棒性。

发明内容

针对人工标记方式效率低又耗费人力等问题，本发明的目的在于提供一种基于级联回归的三维表情重建方法，先对每个输入图像使用算法分别检测内部标记边界标记，然后将2D标记拟合到3D形变模型，估计模型参数和映射矩阵，接着从3D标记投影周围的输入图像的局部块中提取方向梯度直方图特征，用标记位移特征定义为每个标记位置与其对应模型顶点的投影位置之间的差异，再使用级联回归来估计模型参数，并且同时迭代地更新映射矩阵，最后用均方根误差和均值误差进行评估。

为解决上述问题，本发明提供一种基于级联回归的三维表情重建方法，其主要内容包括：

(一)标记拟合；

(二)特征提取；

(三)回归；

(四)评估。

其中，所述的基于级联回归的三维表情重建方法，对于每个训练样本，使用现有技术的脸部对齐算法来检测二维标记；使用标记拟合过程来计算模型参数和映射矩阵的初始化，该过程使二维标记位置与三维标记投影之间的距离最小化；学习级联回归器来估计初始参数与标定好的真实参数之间的残差；方向梯度直方图(HOG)特征在初始形状标记的投影位置周围的局部块中被提取；测量3D标记投影和2D标记之间差异的标记位移(LD)特征也被使用。

进一步地，所述的方向梯度直方图(HOG)和标记位移(LD)，HOG和LD被矢量化和级联以形成整体特征向量；使用所有训练样本的特征向量和参数残差Δp来学习回归器；然后，更新每个样本的模型参数，并进一步更新映射矩阵；下一次迭代从更新后的三维形状和映射矩阵开始；这个更新过程迭代直到它收敛。