[发明专利]基于肖像照片的简笔画生成方法、系统及存储介质

权利要求书

1.一种基于肖像照片的简笔画生成方法，其特征在于，包括以下步骤：

根据肖像照片进行图像预处理得到预处理肖像图像；

根据所述预处理肖像图像进行光照属性检测及处理得到光照处理图像；

根据所述光照处理图像以及简笔画风格照片进行简笔画融合得到简笔画图像；

其中，所述根据所述预处理肖像图像进行光照属性检测及处理得到光照处理图像，包括：

根据所述预处理肖像图像通过光照属性类别分类器得到肖像照片的光照属性，所述光照属性包括过曝光、欠曝光、阴影以及正常；

根据所述肖像照片的光照属性通过光照归一化模型得到消除光照影响的光照处理图像。

2.根据权利要求1所述的基于肖像照片的简笔画生成方法，其特征在于，在所述根据所述光照处理图像进行简笔画融合得到简笔画图像后，还包括：

根据所述简笔画图像以及专家绘制简笔画图像采用精炼图像模型进行图像精炼得到精炼简笔画图像；

其中，采用生成对抗网络作为精炼图像模型；所述根据所述简笔画图像以及专家绘制简笔画图像采用精炼图像模型进行图像精炼得到精炼简笔画图像，包括：

获取基于肖像照片绘制的专家绘制简笔画图像；

将简笔画图像以及所述专家绘制简笔画图像构成二元组，作为精炼图像模型的训练集进行模型训练；

通过生成判别损失函数、判别损失函数、重建损失函数以及强精炼损失函数优化精炼图像模型，得到最终的精炼图像模型。

3.根据权利要求1或2任一项所述的基于肖像照片的简笔画生成方法，其特征在于，在所述根据所述光照处理图像进行简笔画融合得到简笔画图像后，还包括：

根据所述简笔画图像或精炼简笔画图像进行简笔画后处理得到最终简笔画图像，所述后处理包括高斯模糊处理以及自适应二值化处理。

4.根据权利要求1所述的基于肖像照片的简笔画生成方法，其特征在于，所述根据肖像照片进行图像预处理得到预处理肖像图像，所述图像预处理具体包括：

根据肖像照片进行面部框图以及面部五官关键点检测，得到面部边界框信息以及面部五官关键点的位置坐标；

根据所述面部边界框信息以及面部五官关键点的位置坐标得到人脸对齐肖像图像；

根据所述人脸对齐肖像图像得到肖像照片解析掩码图；

根据所述肖像照片解析掩码图得到去背景的肖像图像。

5.根据权利要求1所述的基于肖像照片的简笔画生成方法，其特征在于，所述根据所述光照处理图像进行简笔画融合得到简笔画图像，所述简笔画融合具体包括：

根据所述光照处理图像通过姿态属性类别分类器得到带有姿态属性的图像，所述姿态属性包括正脸及侧脸；

根据所述侧脸图像以及简笔画风格照片通过全局生成器得到侧脸肖像的简笔画图像；

根据所述正脸图像以及简笔画风格照片通过局部生成器以及全局生成器得到正脸肖像的简笔画图像。

6.根据权利要求5所述的基于肖像照片的简笔画生成方法，其特征在于，所述全局生成器具体包括：

采用AdaIN网络结构作为全局生成器模型；

将Celeba数据、Celeba-HQ数据以及简笔画风格照片作为所述AdaIN网络结构的训练集；

加入内容损失函数、风格损失函数以及一致性损失函数优化所述AdaIN网络结构，所述一致性损失函数为：

L_con(q)＝G(q)-q₁

其中，G(·)表示AdaIN网络结构，·₁表示计算两者之间的欧式距离，所述欧式距离使全局生成器生成图和简笔画风格照片像素相一致。