[发明专利]基于显著性检测和深度卷积神经网络的图像风络迁移方法

摘要

本发明公开了基于显著性检测和深度卷积神经网络的图像风络迁移方法，首先选定需转换的内容图像和风格图像，然后对两幅图像进行显著性检测，采用Multi‑Task FCNN显著性检测模型分别提取两个图像的显著性特征图；然后，采用深度卷积神经网络VGG‑19作为图像高级风格特征提取基础模型，设定内容约束层和风格约束层后，分别提取内容约束层和风格约束层特征图集合，并把内容图像和风格图像的显著性特征图分别加入到内容图像特征图集合和风格图像的特征图集合中；定义了风格迁移损失函数，损失函数由三部分组成，分别是风格图像特征损失函数，内容图像特征损失函数和内容图像显著性特征损失函数。采用梯度下降法，经多次迭代最小化损失函数，最后生成风格迁移结果图像。

主权项

1.基于显著性检测和深度卷积神经网络的图像风络迁移方法,其特征在于：包括以下步骤：步骤1，选取一张需要进行风格迁移的内容图像和一张作为风格来源的风格图像，利用文献1提出的Multi‑Task FCNN网络模型，并对内容图像和风格图像分别进行显著性检测，得到内容图像和风格图像显著性特征图；步骤2，采用深度卷积神经网络VGG‑19作为图像高级特征提取原始模型，并以relu5_1和为内容约束特征提取层，以relu2_1、relu3_1和relu4_1为风格约束特征提取层，并把它们提取出来，生成新的神经网络风格迁移模型；步骤3，将风格图像和内容图像输入到神经网络风格迁移模型中，分别在内容约束特征提取层和风格约束特征提取层，提取内容图像特征图，生成内容图像特征图集，提取风格图像特征图，生成风格图像特征图集；步骤4，风格图像和内容图像输入到Multi‑Task FCNN网络模型中，生成内容图像显著性特征图和风格图像显著性特征图，根据内容图像特征图和风格图像特征图的大小，分别把内容图像显著性特征图和风格图像显著性特征图分加入到内容图像特征图集和风格图像特征图集中；步骤5，随机生成高斯噪声图像为初始化新图像；步骤6，根据内容图像的尺寸大小来调整初始化新图像的尺寸；步骤7，将初始化新图像输入到神经网络风格迁移模型中，在马尔可夫随机场下，分别计算图像在内容约束层relu5_1和风格约束层relu2_1,relu3_1和relu4_1上的内容约束层损失函数和风格约束层损失函数；步骤8，将初始化新图像输入到卷积神经网络Multi‑Task FCNN中，生成图像显著性特征检测结果；计算图像显著性特征损失函数；步骤9，综合步骤7和8的结果，得到总的损失函数，并对于不同层，分别采用基于梯度下降法的优化算法生成风格迁移结果，即采用梯度下降法，通过迭代计算生成风格迁移的梯度，并利用总的损失函数，沿负梯度方向逼近原内容和风格，以让每次迭代生成的风格迁移尽可能地分别与原内容和风格相似；步骤10，重复步骤7‑9进行100次迭代，再重复步骤6‑9进行3次迭代，输出最终的风格迁移图像。