[发明专利]一种基于深度学习的图像风格迁移方法及装置在审

专利信息
申请号: 202010717100.1 申请日: 2020-07-23
公开(公告)号: CN111986302A 公开(公告)日: 2020-11-24
发明(设计)人: 张宁;范崇睿;任晗;谢敏怡 申请(专利权)人: 北京石油化工学院
主分类号: G06T15/02 分类号: G06T15/02;G06T5/50;G06N3/04
代理公司: 北京凯特来知识产权代理有限公司 11260 代理人: 郑立明;陈亮
地址: 102600 北*** 国省代码: 北京;11
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 一种 基于 深度 学习 图像 风格 迁移 方法 装置
【权利要求书】:

1.一种基于深度学习的图像风格迁移方法,其特征在于,所述方法包括:

步骤1、获取原始图像,并对所述原始图像进行内容图像的特征提取和风格图像的特征提取,分别得到第一特征图像和第二特征图像;

步骤2、创建白噪声图像,将所得到的第一特征图像和第二特征图像通过迭代优化后导入到所创建的白噪声图像中;

步骤3、再将所述白噪声图像进行迭代最小化,并结合风格损失函数和内容损失函数获得具有原始图像内容和预设风格的迁移后图像。

2.根据权利要求1所述基于深度学习的图像风格迁移方法,其特征在于,在所述步骤1中,具体是利用卷积神经网络对所述原始图像进行内容图像的特征提取和风格图像的特征提取,所选用的卷积神经网络为VGG-19网络模型;

基于所述VGG-19网络模型的激活函数为ReLU函数,其表达式为:

f(x)=max(0,x)

其中,x是输入信号,f(x)输出信号;当输入信号小于零时,输出为零;当输入信号大于零时,输出为输入信号的值。

3.根据权利要求1所述基于深度学习的图像风格迁移方法,其特征在于,在步骤3中,所述内容损失函数是通过将内容图像和所创建的白噪声图像分别传入卷积神经网络,并用二范数建立起内容图像和白噪声图像之间的距离函数,以此作为损失函数;

所述风格损失函数是通过将风格图像和所创建的白噪声图像分别传入卷积神经网络后,计算在各个卷积层间的格莱姆矩阵来建立的。

4.根据权利要求3所述基于深度学习的图像风格迁移方法,其特征在于,在步骤3中,对应所述白噪声图像中的第L层的内容损失函数通过以下公式得到:

其中,为原始图像,为生成图像,表示第i个过滤器在层L中的第j个位置的ReLU激活函数;Fl和Pl为各自在L层中的特征表达。

5.根据权利要求3所述基于深度学习的图像风格迁移方法,其特征在于,所述格莱姆矩阵是用于度量各个维度自己的特性以及各个维度之间的关系;

具体使用tf.matmul(valueA,valueB)矩阵乘法函数来实现格莱姆矩阵,其中valueA为风格特征的转置值,valueB为风格特征值,最终风格图像与白噪声图像的格莱姆矩阵结果之差做为风格损失函数。

6.根据权利要求1所述基于深度学习的图像风格迁移方法,其特征在于,在步骤3对图像进行风格迁移过程中:

通过对风格损失函数和内容损失函数中的权重参数进行更改,使得迁移后的目标图像更偏向于内容图像或更偏向于风格图像。

7.一种基于深度学习的图像风格迁移装置,其特征在于,所述装置包括:

特征提取单元,用于获取原始图像,并对所述原始图像进行内容图像的特征提取和风格图像的特征提取,分别得到第一特征图像和第二特征图像;

白噪声图像创建单元,用于创建白噪声图像,并将所述特征提取单元所得到的第一特征图像和第二特征图像通过迭代优化后导入到所创建的白噪声图像中;

图像迁移单元,用于将所述白噪声图像创建单元得到的白噪声图像进行迭代最小化,并结合风格损失函数和内容损失函数获得具有原始图像内容和预设风格的迁移后图像。

8.根据权利要求7所述基于深度学习的图像风格迁移装置,其特征在于,所述特征提取单元具体是利用卷积神经网络对所述原始图像进行内容图像的特征提取和风格图像的特征提取;

其中,所选用的卷积神经网络为VGG-19网络模型;

基于所述VGG-19网络模型的激活函数为ReLU函数,其表达式为:

f(x)=max(0,x)

其中,x是输入信号,f(x)输出信号;当输入信号小于零时,输出为零;当输入信号大于零时,输出为输入信号的值。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京石油化工学院,未经北京石油化工学院许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202010717100.1/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top