[发明专利]一种基于深度学习的图像风格迁移方法及装置在审
申请号: | 202010717100.1 | 申请日: | 2020-07-23 |
公开(公告)号: | CN111986302A | 公开(公告)日: | 2020-11-24 |
发明(设计)人: | 张宁;范崇睿;任晗;谢敏怡 | 申请(专利权)人: | 北京石油化工学院 |
主分类号: | G06T15/02 | 分类号: | G06T15/02;G06T5/50;G06N3/04 |
代理公司: | 北京凯特来知识产权代理有限公司 11260 | 代理人: | 郑立明;陈亮 |
地址: | 102600 北*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 深度 学习 图像 风格 迁移 方法 装置 | ||
1.一种基于深度学习的图像风格迁移方法,其特征在于,所述方法包括:
步骤1、获取原始图像,并对所述原始图像进行内容图像的特征提取和风格图像的特征提取,分别得到第一特征图像和第二特征图像;
步骤2、创建白噪声图像,将所得到的第一特征图像和第二特征图像通过迭代优化后导入到所创建的白噪声图像中;
步骤3、再将所述白噪声图像进行迭代最小化,并结合风格损失函数和内容损失函数获得具有原始图像内容和预设风格的迁移后图像。
2.根据权利要求1所述基于深度学习的图像风格迁移方法,其特征在于,在所述步骤1中,具体是利用卷积神经网络对所述原始图像进行内容图像的特征提取和风格图像的特征提取,所选用的卷积神经网络为VGG-19网络模型;
基于所述VGG-19网络模型的激活函数为ReLU函数,其表达式为:
f(x)=max(0,x)
其中,x是输入信号,f(x)输出信号;当输入信号小于零时,输出为零;当输入信号大于零时,输出为输入信号的值。
3.根据权利要求1所述基于深度学习的图像风格迁移方法,其特征在于,在步骤3中,所述内容损失函数是通过将内容图像和所创建的白噪声图像分别传入卷积神经网络,并用二范数建立起内容图像和白噪声图像之间的距离函数,以此作为损失函数;
所述风格损失函数是通过将风格图像和所创建的白噪声图像分别传入卷积神经网络后,计算在各个卷积层间的格莱姆矩阵来建立的。
4.根据权利要求3所述基于深度学习的图像风格迁移方法,其特征在于,在步骤3中,对应所述白噪声图像中的第L层的内容损失函数通过以下公式得到:
其中,为原始图像,为生成图像,表示第i个过滤器在层L中的第j个位置的ReLU激活函数;Fl和Pl为各自在L层中的特征表达。
5.根据权利要求3所述基于深度学习的图像风格迁移方法,其特征在于,所述格莱姆矩阵是用于度量各个维度自己的特性以及各个维度之间的关系;
具体使用tf.matmul(valueA,valueB)矩阵乘法函数来实现格莱姆矩阵,其中valueA为风格特征的转置值,valueB为风格特征值,最终风格图像与白噪声图像的格莱姆矩阵结果之差做为风格损失函数。
6.根据权利要求1所述基于深度学习的图像风格迁移方法,其特征在于,在步骤3对图像进行风格迁移过程中:
通过对风格损失函数和内容损失函数中的权重参数进行更改,使得迁移后的目标图像更偏向于内容图像或更偏向于风格图像。
7.一种基于深度学习的图像风格迁移装置,其特征在于,所述装置包括:
特征提取单元,用于获取原始图像,并对所述原始图像进行内容图像的特征提取和风格图像的特征提取,分别得到第一特征图像和第二特征图像;
白噪声图像创建单元,用于创建白噪声图像,并将所述特征提取单元所得到的第一特征图像和第二特征图像通过迭代优化后导入到所创建的白噪声图像中;
图像迁移单元,用于将所述白噪声图像创建单元得到的白噪声图像进行迭代最小化,并结合风格损失函数和内容损失函数获得具有原始图像内容和预设风格的迁移后图像。
8.根据权利要求7所述基于深度学习的图像风格迁移装置,其特征在于,所述特征提取单元具体是利用卷积神经网络对所述原始图像进行内容图像的特征提取和风格图像的特征提取;
其中,所选用的卷积神经网络为VGG-19网络模型;
基于所述VGG-19网络模型的激活函数为ReLU函数,其表达式为:
f(x)=max(0,x)
其中,x是输入信号,f(x)输出信号;当输入信号小于零时,输出为零;当输入信号大于零时,输出为输入信号的值。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京石油化工学院,未经北京石油化工学院许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010717100.1/1.html,转载请声明来源钻瓜专利网。
- 彩色图像和单色图像的图像处理
- 图像编码/图像解码方法以及图像编码/图像解码装置
- 图像处理装置、图像形成装置、图像读取装置、图像处理方法
- 图像解密方法、图像加密方法、图像解密装置、图像加密装置、图像解密程序以及图像加密程序
- 图像解密方法、图像加密方法、图像解密装置、图像加密装置、图像解密程序以及图像加密程序
- 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序以及图像解码程序
- 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、以及图像解码程序
- 图像形成设备、图像形成系统和图像形成方法
- 图像编码装置、图像编码方法、图像编码程序、图像解码装置、图像解码方法及图像解码程序
- 图像编码装置、图像编码方法、图像编码程序、图像解码装置、图像解码方法及图像解码程序