[发明专利]模型的训练方法、风格迁移方法、装置、设备及存储介质在审
| 申请号: | 202110089597.1 | 申请日: | 2021-01-22 |
| 公开(公告)号: | CN112785493A | 公开(公告)日: | 2021-05-11 |
| 发明(设计)人: | 王美玲 | 申请(专利权)人: | 北京百度网讯科技有限公司 |
| 主分类号: | G06T3/00 | 分类号: | G06T3/00;G06T5/50;G06T7/12 |
| 代理公司: | 北京市铸成律师事务所 11313 | 代理人: | 王丹丹;王姗姗 |
| 地址: | 100085 北京市*** | 国省代码: | 北京;11 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 模型 训练 方法 风格 迁移 装置 设备 存储 介质 | ||
1.一种模型的训练方法,包括:
将样本内容图像以及样本风格图像输入预设模型,得到所述预设模型输出的语义分割图像以及样本风格化图像;其中,所述样本风格化图像具备所述样本风格图像的风格特征和所述样本内容图像的内容特征;
基于所述样本风格化图像以及所述语义分割图像,确定总损失函数;
基于所述总损失函数进行反向传导更新所述预设模型,得到目标模型。
2.根据权利要求1所述的方法,其中,所述基于所述样本风格化图像以及所述语义分割图像,确定总损失函数,包括:
基于所述样本风格化图像与所述样本内容图像之间的差异确定内容损失函数,基于所述样本风格化图像与所述样本风格图像之间的差异确定风格损失函数,基于所述语义分割图像与所述样本内容图像的语义标签确定分割损失函数;
基于所述内容损失函数、所述风格损失函数和所述分割损失函数,确定所述总损失函数。
3.根据权利要求2所述的方法,其中,所述基于所述语义分割图像与所述样本内容图像的语义标签确定分割损失函数,包括以下至少之一:
基于第一语义分割图像与所述样本内容图像的语义标签,确定第一分割损失函数;其中,所述第一语义分割图像与所述样本风格图像的风格特征和所述样本内容图像的内容特征相关;
基于第二语义分割图像与所述样本内容图像的语义标签,确定第二分割损失函数;其中,所述第二语义分割图像为所述样本内容图像的语义分割图像。
4.根据权利要求3所述的方法,其中,
所述基于第一语义分割图像与所述样本内容图像的语义标签,确定第一分割损失函数包括:基于所述第一语义分割图像的像素点对应的预测概率以及所述样本内容图像的语义标签,确定第一子分割损失函数;基于所述第一语义分割图像的分割边界与所述样本内容的分割边界,确定第二子分割损失函数;基于所述第一子分割损失函数和所述第二子分割损失函数,确定所述第一分割损失函数;
所述基于第二语义分割图像与所述样本内容图像的语义标签,确定第二分割损失函数,包括:基于所述第二语义分割图像的像素点对应的预测概率以及所述样本内容图像的语义标签,确定第三子分割损失函数;基于所述第二语义分割图像的分割边界与所述样本内容的分割边界,确定第四子分割损失函数;基于所述第三子分割损失函数和所述第四子分割损失函数,确定所述第二分割损失函数。
5.根据权利要求1所述的方法,其中,所述预设模型还输出有所述样本内容图像的重建图像,所述方法还包括:
基于所述重建图像与所述样本内容图像的差异,确定重建损失函数;
将所述重建损失函数增加至所述总损失函数中。
6.根据权利要求1至5中任一项所述的方法,还包括:
获取待处理内容图像和待处理风格图像;
将所述待处理内容图像和所述待处理风格图像输入所述目标模型,得到所述目标模型输出的风格化图像。
7.一种风格迁移方法,包括:
获取待处理内容图像和待处理风格图像;
将所述待处理内容图像和所述待处理风格图像输入目标模型,得到所述目标模型输出的风格化图像;
其中,所述目标模型采用权利要求1至5中任一项所述的方法训练得到。
8.根据权利要求7所述的方法,其中,所述将所述待处理内容图像和所述待处理风格图像输入目标模型,得到所述目标模型输出的风格化图像,包括:
将所述待处理内容图像和第一时刻下具有第一风格特征的第一待处理风格图像输入所述目标模型,得到所述目标模型输出的第一风格化图像;
将所述待处理内容图像和第二时刻下具有第二风格特征的第二待处理风格图像输入所述目标模型,得到所述目标模型输出的第二风格化图像;所述第二时刻晚于所述第一时刻。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京百度网讯科技有限公司,未经北京百度网讯科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110089597.1/1.html,转载请声明来源钻瓜专利网。





