[发明专利]一种基于单幅图像的风格化人脸三维模型自动生成方法

说明书

本发明公开了一种基于单幅图像的风格化人脸三维模型自动生成方法，包括以下步骤：预处理和训练过程，在人像图像数据集上对每张图像提取人脸三维信息，同时对每张图像进行手动风格化人脸三维建模，得到风格化人脸三维模型；根据所述人像图像数据集以及对应的人脸三维信息，训练得到一个多任务人脸特征深度卷积网络。根据所述人像图像数据集，所述风格化人脸三维模型，以及所述人脸特征提取网络，训练得到一个人脸几何风格转化深度卷积网络和一系列人脸纹理风格转化深度卷积网络。本发明输入只需要单幅图像，有很强的通用性,解决了虚拟现实、网络社交等领域中用户数字形象的表达问题。

技术领域

本发明涉及机器视觉、图像处理及三维建模技术领域，尤其涉及一种基于单幅图像的风格化人脸三维模型自动生成方法。

背景技术

人脸的三维建模是一项十分重要的技术，在电影、游戏、虚拟现实、网络社交、人脸识别和追踪等场景中有着广泛应用。根据建模所需要的输入数据，人脸建模方法可以分为三类：基于专业软件的人脸建模，基于专业设备的人脸建模，以及基于单张图像的人脸建模。根据人脸模型的具体应用场景，人脸建模的目标结果可以是人脸模型或者风格化人脸模型。

基于专业软件的人脸三维建模往往适用于电影、CG等专业领域。例如对于3DMax、Maya、Blender等商业或开源软件，用户需要花费大量的时间来学习软件的使用方法，甚至只有专业的艺术家或者设计师才能很好的使用；为了完成一个建模，用户需要花费数小时乃至数天来不断的调整和测试。所以虽然建模软件可以灵活地生成高质量的三维模型，其复杂性和专业性限制了它在普通用户中的推广。

基于专业设备的人脸三维建模一般经由扫描设备提供物体的点云或者深度信息，结合后续的对齐、重建等算法得到完整的物体模型。这种方法可以提供(设备误差范围内)精确真实的模型，但是仍然存在使用上的困难。一方面，高精度的扫描设备如激光扫描仪和多光源几何外观采集系统等，成本高昂、建模过程费时费力而且需要较高的技术门槛。另一方面，民用级别的扫描设备成本相对较低，但是对应的扫描精度往往不够高，并且仍然无法避免较复杂的使用流程。特别需要提及的是，在移动平台上，目前只有IPhone X、HuaweiMate20等少量机型可以提供扫描(深度)信息，限制了这类方法的普适程度。

基于单幅图像的三维人脸建模最适合于普通用户的方便使用：用户可以用手机自拍或者从网上下载公众人物照片，然后直接得到想要的三维人脸模型。基于单幅图像的建模存在很多困难与挑战。其中最主要的是，单幅图像无法反映物体的完整信息，如何从不完整的输入最终恢复完整的信息需要得到解决，所以这方面的工作通常都需要一些先验知识。三维人脸建模中，往往会借助于涵盖各种脸型和表情的参数化人脸数据库，然后利用数据库相关的系数拟合输入的二维人脸图像。

人脸的三维建模应用到虚拟现实或者社交领域中时，往往会遇到很多问题。首先，人对于真实人脸的认知非常严格和挑剔，建模结果的非常小的瑕疵也往往无法被容忍；利用单幅图像这样有限的输入生成非常逼真的人脸难度很大。其次，三维人脸建模有可能触发“恐怖谷”效应：随着类人物体的拟人程度增加，人类对之的好感并非一直增加，而会在非常接近而又不完全一致时，表现出非常“恐怖”的感觉。最后，用户本人希望展现的也未必是完全真实的自己，而是能够代表自身主要特点的数字形象(有可能是美化后的数字形象)。

风格化人脸建模就是为了解决人脸建模的这些问题而被引入的，能够让用户展现自我，同时又展示自己想突显的风格。一个相关样例是漫画创作，漫画人物的五官都有一定的艺术处理同时又能够展示不同人物的主要特征。近些年深度神经网络的发展使得二维图像的风格化处理取得了很大的突破，但是如何对三维模型进行风格化处理仍然缺少解决方案。

发明内容

本发明的目的是针对现有技术的不足，提供一种基于单幅图像的风格化人脸三维模型自动生成方法，以解决虚拟现实、网络社交等领域中用户数字形象的表达问题。

为实现上述发明目的，本发明提供以下技术方案：一种基于单幅图像的风格化人脸三维模型自动生成方法，包括以下步骤：