[发明专利]人像照片漫画生成的方法和系统

说明书

本申请涉及一种人像照片漫画生成的方法和系统，其中，该人像照片漫画生成的方法包括：通过编码器分别对人像图和漫画风格图进行特征分解，得到人像特征和漫画特征；接着对人像特征和漫画特征进行特征归一化，得到人像归一特征和漫画归一特征；然后对人像图对应的人像语义分割图和漫画风格图对应的漫画风格语义分割图进行采样和扩展，得到人像扩展分割图和漫画风格扩展分割图，并计算人像归一化特征和漫画归一化特征间的相似度矩阵，并通过相似度矩阵对漫画归一特征进行重新组合，生成人像重建特征；最后对人像重建特征进行解码，生成人像漫画图，完成人像漫画生成模型的预测。通过本申请，提升了纹理匹配的精度和图像生成的效果，降低了开发成本。

技术领域

本申请涉及图像处理领域，特别是涉及人像照片漫画生成的方法和系统。

背景技术

随着漫画行业的快速发展，如今也成为了一种流行的娱乐方式受到各个阶层人们的喜爱，在图像处理领域中，将一张普通的人像照片在内容不变的情况下生成另一种具有漫画风格的图像，既有漫画的风格又有原人物的辨识度，这种人像照片漫画风格化的应用在消费电子领域已受到越来越多的关注，具有很大的实际应用价值。

在相关技术中，人像照片的漫画生成方法有纹理合成、风格迁移和深度对抗神经网络等。纹理合成技术在纹理特征的语义匹配上存在不足，容易发生误匹配生成错误的纹理，生成质量不稳定；风格迁移技术无法针对人像纹理进行专门处理，尤其在面部区域容易产生令人不快的瑕疵；深度对抗神经网络技术可以生成优质的漫画图像，但是需要较多的同一风格的漫画素材作为样本，存在开发成本高的问题。此外，还有相关技术利用人脸特征点绘制人脸某些部位的曲线，如眉毛头发等部分利用各种人工设计的特征到数据库中与提前绘制好的漫画模板进行匹配，然后用合成的方式生成漫画，效率比较低。

目前针对相关技术中，对人像照片进行漫画生成时，存在的漫画纹理特征匹配不足，人像生成质量不稳定和开发成本高的问题，尚未提出有效的解决方案。

发明内容

本申请实施例提供了人像照片漫画生成的方法和系统，至少解决相关技术中对人像照片进行漫画生成过程中，可能产生的漫画纹理特征匹配不足，人像生成质量不稳定和开发成本高的问题。

第一方面，本申请实施例提供了一种人像照片漫画生成的方法，所述方法包括：

通过编码器分别对人像图和漫画风格图进行特征分解，得到人像特征和漫画特征；

对所述人像特征和所述漫画特征进行特征归一化，得到人像归一特征和漫画归一特征；

对所述人像图对应的人像语义分割图和所述漫画风格图对应的漫画风格语义分割图进行采样和扩展，得到人像扩展分割图和漫画风格扩展分割图，并计算所述人像归一化特征和所述漫画归一化特征间的相似度矩阵；

通过所述相似度矩阵对所述漫画归一特征进行重新组合，生成人像重建特征；

对所述人像重建特征进行解码，生成人像漫画图，完成人像漫画生成模型的预测。

在其中一些实施例中，所述对所述人像语义分割图和所述漫画风格语义分割图进行采样和扩展包括：

使所述人像语义分割图的分辨率与所述人像归一特征的分辨率相同，所述漫画风格语义分割图的分辨率与所述漫画归一特征的分辨率相同；

通过热独向量表示每个像素位置的分类属性。

在其中一些实施例中，所述计算所述人像归一化特征和所述漫画归一化特征间的相似度矩阵S_IC：

计算所述人像归一化特征和所述漫画归一化特征间的距离矩阵L_IC：