[发明专利]人脸姿势矫正装置及方法

说明书

根据本发明，提供一种人脸姿势矫正装置，使用特定于输入的三维人脸数据的人物对象正面模型来矫正人脸姿势。所述装置包括：生成部，基于预先存储的三维标准人脸模型，对输入的三维人脸数据进行三维刚性变换，从而生成矫正的第一人脸数据；以及矫正部，生成作为所述第一人脸数据的左右对称模型的第一对象特定正面模型，基于生成的所述第一对象特定正面模型将所述第一人脸数据三维刚性变换从而进行矫正。

技术领域

本发明涉及一种人脸姿势矫正装置及方法，减少与标准人脸模型匹配过程中的拟合误差，以将输入的三维人脸数据矫正为正面姿势，更具体地，使用特定于输入的三维人脸数据的人物对象(person-specific)正面模型来矫正人脸姿势。

背景技术

从扫描为三维图像的人脸数据中进行姿势矫正估计是一项新兴的技术，可以应用于颌骨关节矫正、面瘫诊断等医学领域，还可以应用于人脸识别、教育等各个领域，特别是在估计人脸数据的正面姿势或获取用于将输入的三维人脸数据矫正为正面姿势的刚性变换的问题方面具有很高的利用率。

之前主要采用的矫正方式为：基于在坐标轴上以正面姿势存在的三维标准人脸模型来匹配输入数据，或者通过拟合人脸正面的代表性平面来以正面姿势进行矫正。三维标准人脸通常是通过对多个人脸数据求平均来生成，如果作为矫正对象的输入的三维人脸数据与三维标准人脸模型之间的形状差异较大，则无法避免在匹配过程中产生较大误差。此类匹配误差会在矫正人脸数据的姿势时降低精度，还是重复进行姿势矫正的障碍。

发明内容

解决问题的技术方法

根据一方面，提供一种人脸姿势矫正装置，用于使用特定于输入的三维人脸数据的人物对象正面模型来矫正人脸姿势。所述装置可以包括：生成部，基于预先存储的三维标准人脸模型，对输入的三维人脸数据进行三维刚性变换，从而生成矫正的第一人脸数据；以及矫正部，生成作为所述第一人脸数据的左右对称模型的第一对象特定正面模型，基于生成的所述第一对象特定正面模型将所述第一人脸数据三维刚性变换从而进行矫正。

根据本发明的一实施例，所述生成部可以包括：提取部，从通过投影输入的三维人脸数据而获得的二维人脸图像中提取多个特征点；估计部，基于对所述三维标准人脸模型所提取的所述多个特征点的对应关系，估计所述输入的三维人脸数据的姿势；计算部，计算用于将所述估计的姿势刚性变换为正面姿势的第一变换矢量；以及变换部，基于所述第一变换矢量对所述输入的三维人脸数据进行刚性变换从而生成第一人脸数据。

根据本发明的一实施例，所述矫正部可以包括：模型生成部，基于所述第一人脸数据的y轴，将第一面的三维点对称地移动并复制到第二面，从而生成所述第一对象特定正面模型；以及变换矢量计算部，使用迭代最近点(Iterative Closest Point，ICP)算法、奇异值分解(Singular Value Decomposition，SVD)算法及比例正交投影迭代变换(Pose fromOrthography and Scaling with Iteration，POSIT)算法中至少一个来计算用于将所述第一人脸数据与所述第一对象特定正面模型匹配的第二变换矢量，并基于所述第二变换矢量将所述第一人脸模型三维刚体变换从而进行矫正。

在此，所述变换矢量计算部，将通过反复计算所述第二变换矢量而获得的第二值与作为先前计算结果的第一值进行比较，所述比较的结果，当所述第一值与所述第二值的差异小于预定阈值时，确定最终变换矢量。

根据本发明的一实施例，所述矫正部在第二人脸数据的一个坐标平面上生成左右对称的第二对象特定正面模型，其中，所述第二人脸数据由所述第一人脸数据三维刚体变换而生成，基于生成的所述第二对象特定正面模型，对所述第二人脸数据进行二维刚体变换从而进一步进行矫正。