[发明专利]人物风格形象图的生成方法、装置、设备及存储介质在审
申请号: | 202111241440.2 | 申请日: | 2021-10-25 |
公开(公告)号: | CN114004905A | 公开(公告)日: | 2022-02-01 |
发明(设计)人: | 张朋;李冰川 | 申请(专利权)人: | 北京字节跳动网络技术有限公司 |
主分类号: | G06T11/00 | 分类号: | G06T11/00;G06T9/00 |
代理公司: | 北京远智汇知识产权代理有限公司 11659 | 代理人: | 范坤坤 |
地址: | 100041 北京市石景山区*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 人物 风格 形象 生成 方法 装置 设备 存储 介质 | ||
1.一种人物风格形象图的生成方法,其特征在于,包括:
将原始人物形象图输入第一特征编码器,获得第一人物形象特征编码;
确定所述原始人物形象图与模板图间的属性增量;
将所述属性增量和所述第一人物形象特征编码输入第二特征编码器,获得第二人物形象特征编码;
将所述第二人物形象特征编码输入风格形象生成模型,获得初始人物风格形象图;
将所述初始人物风格形象图融合至所述模板图中,获得目标人物风格形象图。
2.根据权利要求1所述的方法,其特征在于,将所述初始人物风格形象图融合至所述模板图中,获得目标人物风格形象图,包括:
将所述初始人物风格形象图中的人物风格形象的位置进行平移;
将平移后的初始人物风格形象图融合至所述模板图中,获得目标人物风格形象图。
3.根据权利要求2所述的方法,其特征在于,将所述初始人物风格形象图中的人物风格形象的位置进行平移,包括:
获取所述初始人物风格形象图的竖直标准线和水平标准线;
提取所述初始人风格形象图中人物风格形象的中心关键点及嘴角关键点;
确定所述中心关键点的竖直坐标与所述竖直标准线的距离差,确定为第一距离差;
确定所述嘴角关键点的水平坐标与所述水平标准线的距离差,确定为第二距离差;
根据所述第一距离差沿竖直方向平移所述人物风格形象,根据所述第二距离差沿水平方向平移所述人物风格形象。
4.根据权利要求1或2所述的方法,其特征在于,将所述初始人物风格形象图融合至所述模板图中,获得目标人物风格形象图,包括:
对所述模板图中的模板人物形象进行识别,获得识别矩形框;
根据所述识别矩形框将所述初始人物风格形象图裁剪为设定尺寸的图像;
将所述设定尺寸的图像粘贴至所述识别矩形框内;
获取所述模板图的人物形象掩膜图;
基于所述人物形象掩膜图将所述设定尺寸的图像融合至所述模板图中,获得目标人物风格形象图。
5.根据权利要求1所述的方法,其特征在于,所述第一特征编码器的训练方式为:
获取人物形象样本图;
将所述人物形象样本图输入所述第一特征编码器,获得第一样本人物形象特征编码;
将所述第一样本人物形象特征编码输入人物形象生成模型中,获得第一重建人物形象图;
基于所述第一重建人物形象图和所述人物形象样本图的损失函数对所述第一特征编码器进行训练。
6.根据权利要求1所述的方法,其特征在于,所述第二特征编码器的训练方式为:
获取人物形象样本图;
将所述人物形象样本图输入所述第一特征编码器,获得第二样本人物形象特征编码,
将所述第二样本人物形象特征编码输入人物形象生成模型中,获得第二重建人物形象图;
将所述第二样本人物形象特征编码和真实属性增量输入第二特征编码器,获得第三样本人物形象特征编码;
将所述第三样本人物形象特征编码输入人物形象生成模型中,获得编辑人物形象图;
确定所述第二重建人物形象图和所述编辑人物形象图的预测属性增量;
基于所述预测属性增量和所述真实属性增量间损失函数对所述第二特征编码器进行训练。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京字节跳动网络技术有限公司,未经北京字节跳动网络技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111241440.2/1.html,转载请声明来源钻瓜专利网。