[发明专利]一种基于可学习形变场的人脸正面化方法

说明书

本发明公开了一种基于可学习形变场的人脸正面化方法，包括步骤1，获取一批带有姿态标注的图片数据集作为训练/测试集，每个人的图像都包含有各个姿态；步骤2，由三维人脸模型大致计算出各个姿态之间图片像素点的位置对应关系，得到每两个角度图像之间的大致形变场；步骤3，将得到的形变场作为训练目标，得到模型参数W’；步骤4，通过使作用后的图像和目标图像尽量相像继续优化模型W’的参数。本发明不仅能得到既平滑又恢复出更多细节的重构正面图像，且训练比基于3D模型生成形变场的方法简单，耗时更少，能够恢复出保留更多个人特征的图像，对于识别更有帮助，特别是在大姿态角度的人脸上，识别率得到显著提升。

技术领域

本发明涉及一种人脸正面化方法，尤其涉及一种基于可学习形变场的人脸正面化方法。

背景技术

随着计算机视觉技术的发展，人脸识别在家庭娱乐、安防系统、视频监控等领域得到广泛应用。通用的场景下人脸会呈现不同的姿态：正脸，侧脸。直接用正脸-侧脸对进行识别会增加难度，因为正脸侧脸之间的关系不是线性关系。为了借助更多信息进行识别，一般会采用先将需识别的图像校正到同一个姿态(通常恢复到准正面)，再进行识别的方法。

现有主要方法有基于3D模型生成形变场的方法和基于2D图像进行图像回归重构的方法。其中，基于3D模型生成形变场的方法主要根据人脸的3D模型对各个人脸姿态建模，计算出不同姿态图像之间的像素点位移关系，即形变场，再将该形变场作用于2D的图像，得到正面化的人脸图像。基于2D图像进行图像回归重构的方法则是直接将2D的正面人脸图像作为目标进行优化，得到重构出的正面化图像；

基于3D形变场的方法，虽然保留了更多原图像的信息，但是恢复不出被遮挡部分的像素值，虽然可以用加权平均脸进行填补，但还原效果不够好也不够平滑；基于2D图像进行图像回归重构的方法，虽然能够恢复整张图像也会较为平滑，但是会丢掉更多原图像的细节。

发明内容

为了解决上述问题中的不足之处，本发明提供了一种基于可学习形变场的人脸正面化方法。

为了解决以上技术问题，本发明采用的技术方案是：一种基于可学习形变场的人脸正面化方法，包括以下步骤：

步骤1，获取一批带有姿态标注的图片数据集作为训练/测试集，每个人的图像都包含有各个姿态；

步骤2，由三维人脸模型大致计算出各个姿态之间图片像素点的位置对应关系，根据三维模型在二维平面上的投影图像以及计算像素点的对应位移，得到每两个角度图像之间的大致形变场，由于侧面角度的图像不可避免的会有遮挡部分，可以用侧面图像上的已知的部分进行填补；

步骤3，将在步骤2中得到的形变场作为步骤3的训练目标，由于训练输入图像的姿态和目标图像的姿态都是已知的，就可以将两个姿态之间的形变场作为目标对模型进行预训练，得到模型参数W’；

步骤4，将W’作为步骤4的模型参数的初始化值，将目标图像的形变场作为训练目标，该步骤将A输出出来的形变场作用在输入图像上，从而得到一张特定姿态的图像，通过使作用后的图像和目标图像尽量相像继续优化模型的参数，以此将步骤3得到的模型参数W’进一步优化。

在步骤1中，将MultiPIE数据集作为训练/测试集。

在步骤2中，将人脸姿态角度分为-90度到90度之间的每15度，然后根据三维模型在二维平面上的投影图像以及计算像素点的对应位移，得到每两个角度图像之间的大致形变场。

本发明不仅能得到既平滑又恢复出更多细节的重构正面图像，且训练比基于3D模型生成形变场的方法简单，耗时更少，能够恢复出保留更多个人特征的图像，对于识别更有帮助，特别是在大姿态角度的人脸上，识别率得到显著提升。

附图说明

下面结合附图和具体实施方式对本发明作进一步详细的说明。