[发明专利]人像照片漫画生成的方法和系统

权利要求书

1.一种人像照片漫画生成的方法，其特征在于，所述方法包括：

通过编码器分别对人像图和漫画风格图进行特征分解，得到人像特征和漫画特征；

对所述人像特征和所述漫画特征进行特征归一化，得到人像归一特征和漫画归一特征；

对所述人像图对应的人像语义分割图和所述漫画风格图对应的漫画风格语义分割图进行采样和扩展，得到人像扩展分割图和漫画风格扩展分割图，并计算所述人像归一化特征和所述漫画归一化特征间的相似度矩阵；

通过所述相似度矩阵对所述漫画归一特征进行重新组合，生成人像重建特征；

对所述人像重建特征进行解码，生成人像漫画图，完成人像漫画生成模型的预测。

2.根据权利要求1所述的方法，其特征在于，所述对所述人像语义分割图和所述漫画风格语义分割图进行采样和扩展包括：

使所述人像语义分割图的分辨率与所述人像归一特征的分辨率相同，所述漫画风格语义分割图的分辨率与所述漫画归一特征的分辨率相同；

通过热独向量表示每个像素位置的分类属性。

3.根据权利要求1所述的方法，其特征在于，所述计算所述人像归一化特征和所述漫画归一化特征间的相似度矩阵S_IC：

计算所述人像归一化特征和所述漫画归一化特征间的距离矩阵L_IC：

其中，是L_IC中的具体元素，表示矩阵N_I位置x的向量与N_C矩阵位置y的向量间的距离，L_IC与S_IC同尺寸，EX_I是人像扩展分割图，EX_c是漫画风格扩展分割图，N_I是像归一化特征，N_C是漫画归一化特征；

计算S_IC矩阵的行向量

其中，是S_IC的行向量，是L_IC的行向量，表示矩阵N_I位置x的向量与N_C矩阵中所有向量的距离。

4.根据权利要求1所述的方法，其特征在于，在进行人像漫画生成模型的预测之前，所述方法包括：

通过人像图训练样本、漫画风格图训练样本及对应的人像语义分割图训练样本和漫画风格语义分割图训练样本，对所述人像漫画生成模型进行训练，得到网络参数。

5.根据权利要求4所述的方法，其特征在于，所述对所述人像漫画生成模型进行训练，得到网络参数包括：

通过随机梯度下降算法训练模型，得到所述网络参数。

6.一种人像照片漫画生成的系统，其特征在于，所述系统包括：

编码模块，用于通过编码器分别对人像图和漫画风格图进行特征分解，得到人像特征和漫画特征；

特征归一化模块，用于对所述人像特征和所述漫画特征进行特征归一化，得到人像归一特征和漫画归一特征；

相似度计算模块，用于对所述人像图对应的人像语义分割图和所述漫画风格图对应的漫画风格语义分割图进行采样和扩展，得到人像扩展分割图和漫画风格扩展分割图，并计算所述人像归一化特征和所述漫画归一化特征间的相似度矩阵；

特征重建模块，用于通过所述相似度矩阵对所述漫画归一特征进行重新组合，生成人像重建特征；

解码模块，用于对所述人像重建特征进行解码，生成人像漫画图，完成人像漫画生成模型的预测。

7.根据权利要求6所述的系统，其特征在于，

所述相似度计算模块还用于使所述人像语义分割图的分辨率与所述人像归一特征的分辨率相同，所述漫画风格语义分割图的分辨率与所述漫画归一特征的分辨率相同，

通过热独向量表示每个像素位置的分类属性。