[发明专利]一种结构保持的图像唐卡风格转换系统及方法

说明书

本发明涉及一种结构保持的图像唐卡风格转换系统及方法，方法为使用显著性目标检测网络BASNet计算局部结构损失：将内容图和产生的结果图输入BASNet中输出得到内容图和结果图的结构图；使用深度预测网络计算全局结构损失：将内容图和产生的结果图输入深度预测网络输出得到内容图和结果图的深度图，深度信息一定程度上代表图像全局结构信息，显著性目标检测网络提取的是图像局部结构信息；计算上述得到的内容图和结果图的结构图两者之间的欧氏距离作为局部结构损失；计算上述得到的内容图和结果图的深度图两者之间的欧式距离作为全局结构损失。本发明能够避免唐卡图像风格迁移模型生成结果结构变形严重，影响视觉效果的问题。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种结构保持的图像唐卡风格转换系统及方法。

背景技术

图像风格迁移技术是指通过算法将一种风格的图像渲染成指定的另一种风格图像同时保留图像主体内容的一种技术，属于图像生成技术。该技术在社交媒体软件、电影、动画制作等方面有着广泛的应用，而唐卡是藏族最为特色的绘画艺术，具有鲜明的民族特点、浓郁的宗教色彩和独特的艺术风格。将风格迁移与唐卡图像结合起来使得人们不需要具备绘画等艺术创作的能力也能独自创作出唐卡风格的艺术作品，让人们能够轻松的看到甚至创建唐卡风格的作品，体会藏文化的魅力，有利于藏文化的传播。

早期的风格迁移方法有基于笔划渲染、图像类比、纹理合成和图像滤波的方法。基于笔划渲染是指在画布上增加虚拟笔划以渲染具有特定样式的图片的方法。应用场景大多局限在油画、水彩等，不够灵活。图像类比则是旨在学习一对源图像和目标图像之间的映射，以监督学习方式实施风格迁移，成对数据集的获取较为困难。纹理合成是在原纹理图像中增加相似纹理的过程。这些基于纹理合成的算法仅利用低级图像特征，限制了性能。图像滤波方法采用一些组合的图像滤波器来渲染给定的图片。随着神经网络的盛行，Gatys等提出的利用神经网络实现风格迁移取得了良好的效果，自此神经网络实现图像风格迁移的各种框架与改进层出不穷。

但是将风格迁移应用于具有复杂纹理的输入图像时，存在一个问题，即合成的图像倾向于将样式元素均匀地分布在整个图像上，使整体结构变得无法识别。对于基础特性突出或对结构畸变敏感的输入，均匀分布的纹理进一步掩盖了细节，破坏了原有的结构。而唐卡图像的纹理十分复杂，直接利用现有的一些风格迁移方法就会出现上述问题。

发明内容

为了解决上述技术问题，本发明提供的结构保持的图像唐卡风格转换系统及方法，能够避免图像风格迁移模型生成结果结构畸变，视觉效果差的问题。

本发明采用以下技术方案：

一种结构保持的图像唐卡风格转换系统，包括风格转换模块和损失计算模块，其特征在于，

所述的风格转换模块包括下采样层、残差层、上采样层，且用指定的唐卡图像作为风格图输入到风格转换模块中，风格转换模块用于将待处理内容图迁移为风格化的结果图；

所述的损失计算模块用于计算内容图与结果图之间图像重建的相应损失，损失计算模块由内容损失模块、风格差异损失模块、全局结构损失模块、局部结构损失模块、噪声损失模块组成，内容损失模块计算内容图与结果图之间图像重建的内容损失，风格差异损失模块计算风格图与结果图之间图像重建的风格差异损失，全局结构损失模块计算内容图与结果图之间图像重建的全局结构损失，局部结构损失模块计算内容图与结果图之间图像重建的局部结构损失，噪声损失模块计算图像重建的噪声损失。

一种结构保持的图像唐卡风格转换系统的方法，其特征在于，包括以下步骤：

步骤1.搭建风格转换模块和损失计算模块，损失计算模块由内容损失模块、风格差异损失模块、全局结构损失模块、局部结构损失模块、噪声损失模块组成；

步骤2，风格转换模块和损失计算模块训练，具体包括下列步骤：

步骤2.1，预训练显著性目标检测网络用于提取图像的局部结构特征从而计算局部结构损失；