[发明专利]基于显著性检测和深度卷积神经网络的图像风络迁移方法

说明书

本发明公开了基于显著性检测和深度卷积神经网络的图像风络迁移方法，首先选定需转换的内容图像和风格图像，然后对两幅图像进行显著性检测，采用Multi‑Task FCNN显著性检测模型分别提取两个图像的显著性特征图；然后，采用深度卷积神经网络VGG‑19作为图像高级风格特征提取基础模型，设定内容约束层和风格约束层后，分别提取内容约束层和风格约束层特征图集合，并把内容图像和风格图像的显著性特征图分别加入到内容图像特征图集合和风格图像的特征图集合中；定义了风格迁移损失函数，损失函数由三部分组成，分别是风格图像特征损失函数，内容图像特征损失函数和内容图像显著性特征损失函数。采用梯度下降法，经多次迭代最小化损失函数，最后生成风格迁移结果图像。

技术领域

本发明涉及深度学习技术领域，具体为基于显著性检测和深度卷积神经网络的图像风络迁移方法。

背景技术

随着科技技术迅速发展，在深度神经网格在众多领域得到了广泛的应用。基于深度神经网格的风格迁移是近来人工智能领域内的一个新的热门研究主题，它的基本原理是利用神经网络模型对于两幅输已知的图像(分别叫做风格图像和内容图像)，是将风格(style)从“风格图像”迁移到“内容图像”的过程。目的是能够根据不同的风格图像生成同一内容的不同风格的新图像。

Gatys等人率先在在2016年CVPR(国际计算机视觉与模式识别大会上)的发表了文章“image Style Transfer Using Convolutional Neural Networks”证实了卷积神经网络(CNN)的在图像风格迁移中表现出惊人的能力：通过分离和重新组合图片内容与风格，CNN可以创作出具有艺术魅力的作品。从那以后，在学术研究和产业应用对神经风格迁移产生极大的兴趣，短短几年间，基于深度神经网格的图像风格迁移它已成为学术界和工业界中的热点研究问题之一。包括清华大学，北京大学，Stanford大学和UC Berkeley大学等国内外世界知名大学、研究院(所)和实验室在内的团队，对风格迁移进行了广泛且深入的研究。

现有的风格迁移方法存在的问题主要有：图像的风格迁移具有很大的随意性，导致很多情况下，效果很不理想，有时候还会产生一些错误，比如说把风格图像中眼睛部分特征迁移到嘴巴上去了，或者图像背景特征迁移到前景物体上，迁移效果非常不理想。

发明内容

本发明的目的在于提供基于显著性检测和深度卷积神经网络的图像风络迁移方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：基于显著性检测和深度卷积神经网络的图像风络迁移方法,包括以下步骤：

步骤1，选取一张需要进行风格迁移的内容图像和一张作为风格来源的风格图像，利用Multi-Task FCNN网络模型，并对内容图像和风格图像分别进行显著性检测，得到内容图像和风格图像显著性特征图；

步骤2，采用深度卷积神经网络VGG-19作为图像高级特征提取原始模型，并以relu5_1和为内容约束特征提取层，以relu2_1、relu3_1和relu4_1为风格约束特征提取层，并把它们提取出来，生成新的神经网络风格迁移模型；

步骤3，将风格图像和内容图像输入到神经网络风格迁移模型中，分别在内容约束特征提取层和风格约束特征提取层，提取内容图像特征图，生成内容图像特征图集，提取风格图像特征图，生成风格图像特征图集；

步骤4，风格图像和内容图像输入到Multi-Task FCNN网络模型中，生成内容图像显著性特征图和风格图像显著性特征图，根据内容图像特征图和风格图像特征图的大小，分别把内容图像显著性特征图和风格图像显著性特征图分别加入到内容图像特征图集和风格图像特征图集中；

步骤5，随机生成高斯噪声图像为初始化新图像；

步骤6，根据内容图像的尺寸大小来调整初始化新图像的尺寸；