[发明专利]一种基于学习几何和纹理风格迁移的人脸漫画生成方法

权利要求书

1.一种基于学习几何和纹理风格迁移的人脸漫画生成方法，其特征在于，包括以下步骤：

(1)获取人脸和漫画关键点：通过人脸关键点提取算法获取人脸照片和漫画照片的关键点；

(2)构建人脸和漫画分布：将预先获取的人脸照片漫画图像数据集，划分训练集与测试集，加载人脸照片关键点分布与漫画关键点分布的表示矩阵；

(3)计算投影矩阵：获取人脸照片关键点分布与漫画关键点分布的协方差矩阵，通过WCT算法获取能使两者对齐的线性变换，记为投影矩阵；

(4)获取漫画域的关键点：利用投影矩阵，将人脸关键点投影到漫画域，从而获取人脸在漫画域对应的关键点；

(5)获取人脸形变图：根据人脸关键点与漫画关键点，得到从人脸到漫画的Warp仿射矩阵，将仿射矩阵作用在整张人脸图像上，从而获取人脸形变图；

(6)计算基于特征的近邻矩阵：将人脸形变图、漫画风格图分别输入到VGG-19网络中提取内容表示和风格表示；计算内容表示每一个位置特征与风格表示每一个位置特征的余弦相似度，得到一个位置到位置的近邻矩阵，其中矩阵每个元素编码了特征在不同空间位置的相似度，描述了内容到风格语义级别的匹配关系；

(7)基于语义的风格损失：对于上述的人脸形变图的内容表示和漫画图的风格表示，计算两者位置到位置的欧式距离矩阵，该矩阵与近邻矩阵拥有等大的维度；定义K是近邻的数目，根据近邻矩阵中前K个近邻的位置关系，将欧式距离矩阵对应的K个位置赋值为1，其余位置赋值为0，最后，将距离矩阵求和作为风格损失；

(8)迭代生成漫画图片：基于反向传播算法，使用迭代更新方式回传风格损失的梯度，惩罚内容到风格匹配的特征，使得越相似的特征越接近越好，输入的形变图逐渐被渲染上漫画的风格纹理，得到最终的漫画图片；

(9)基于特征的人脸内容结构保持：将生成漫画重新输入到VGG-19提取到风格化的内容表示，用风格化内容表示与形变图内容表示的均方误差作为内容损失，从而保持形变图原有的人脸结构不被纹理迁移过程破坏；

(10)获取多样化的漫画风格：借助StyleGAN生成海量的生成漫画，同时提供隐空间插值方法控制生成漫画的效果，构建特征丰富的漫画风格分布；

(11)用训练阶段的投影矩阵对不同输入的人脸照片进行形变，用基于语义级别的风格迁移方法渲染纹理。

2.根据权利要求1所述的基于学习几何和纹理风格迁移的人脸漫画生成方法，其特征在于，步骤(1)所述的关键点的个数为128个。

3.根据权利要求1所述的基于学习几何和纹理风格迁移的人脸漫画生成方法，其特征在于，所述步骤(3)通过以下公式实现：

其中，L_pw为白化矩阵，关键点的均值向量表示为漫画关键点的均值向量为中心化后的图片关键点矩阵为中心化后的漫画关键点矩阵为对进行特征值分解得到D_p、E_p、D_p为图片域对角线元素特征值的对角阵，E_p为图片域列向量为特征向量的正交阵，为E_p的转置；

对进行特征值分解得到D_c、E_c、D_c为漫画域对角线元素特征值的对角阵，E_c为漫画域列向量为特征向量的正交阵，为E_c的转置；是对齐之后的图片关键点矩阵，其协方差矩阵与的协方差矩阵相同；P为从图片到漫画的投影矩阵。

4.根据权利要求1所述的基于学习几何和纹理风格迁移的人脸漫画生成方法，其特征在于，步骤(4)所述的人脸在漫画域对应的关键点为：

其中，P为投影矩阵，l_p是测试图片对应的人脸关键点，人脸关键点的均值向量表示为漫画关键点的均值向量表示为