[发明专利]人物线稿生成方法、装置、设备及介质在审
申请号: | 202210912212.1 | 申请日: | 2022-07-28 |
公开(公告)号: | CN115170388A | 公开(公告)日: | 2022-10-11 |
发明(设计)人: | 方承煜;韩先锋 | 申请(专利权)人: | 西南大学 |
主分类号: | G06T3/00 | 分类号: | G06T3/00;G06N3/04;G06N3/08 |
代理公司: | 上海光华专利事务所(普通合伙) 31219 | 代理人: | 唐勇 |
地址: | 400715*** | 国省代码: | 重庆;50 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 人物 生成 方法 装置 设备 介质 | ||
1.一种人物线稿生成方法,其特征在于,所述方法包括:
获取目标人物图片;
将所述目标人物图片输入至预先训练好的人物线稿模型中,通过所述人物线稿模型对所述目标人物图片进行转换,得到人物线稿;其中,所述人物线稿模型的训练方法,包括:
获取人物图片和与人物图片对应的人物线稿;
将人物图片输入至人物线稿模型的生成器中,生成与人物图片对应的线条图,以及将所述线条图与所述人物图片对应的人物线稿输入至人物线稿模型的判别器中;
分别计算第一损失函数、第二损失函数、第三损失函数,所述第一损失函数为生成器的损失函数,所述第二损失函数用于表示所述人物线稿与所述线条图之间的误差,所述第三损失函数为判别器的损失函数;
对所述第一损失函数、所述第二损失函数、所述第三损失函数进行加权求和,得到总损失函数;
对所述生成器与所述判别器的参数进行迭代更新,使所述总损失函数达到预设条件,以完成所述人物线稿模型的训练。
2.根据权利要求1所述的人物线稿生成方法,其特征在于,所述生成器包括:
编码器,用于对所述人物图片进行编码,得到编码结果;
解码器,用于对所述编码结果进行解码,得到线条图;
所述编码器包括多层编码层,用于对所述人物图片进行多尺度采样,并对采样得到的多尺度特征进行特征融合,得到融合特征;
所述解码器包括多层解码层,在对所述编码结果进行解码的过程中,将每个编码层输出的特征图嵌入到不同的解码层中。
3.根据权利要求2所述的人物线稿生成方法,其特征在于,所述编码器采用预先训练好的ResNeXt-50作为编码器,编码层表示为:
第n-i+1层编码层的输入表示为
其中,表示n-i层编码层的输出,到表示第1到第i层编码层的输出,PDS()表示渐进式降采样操作,表示求和操作;
UP()表示对特征图进行上采样;
表示第i层编码层的输出,表示第i层编码层的输入,C表示组的数量,表示变换函数。
4.根据权利要求3所述的人物线稿生成方法,其特征在于,所述判别器包括多个依次连接的判别器块,每一个判别器块包括依次连接的卷积层、归一化层和残差层。
5.根据权利要求1所述的人物线稿生成方法,其特征在于,所述第一损失函数表示为:
其中,f1为均方误差损失,f2表示平均运算,f4对输入的图片进行调整,其大小与判别器D的输出相同,f3和f5分别为标量值1和0的填充张量。
6.根据权利要求5所述的人物线稿生成方法,其特征在于,所述第三损失函数表示为:
7.根据权利要求6所述的人物线稿生成方法,其特征在于,所述第二损失函数表示为:
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于西南大学,未经西南大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210912212.1/1.html,转载请声明来源钻瓜专利网。