[发明专利]一种结构保持的图像唐卡风格转换系统及方法

权利要求书

1.一种结构保持的图像唐卡风格转换系统，包括风格转换模块和损失计算模块，其特征在于，

所述的风格转换模块包括下采样层、残差层、上采样层，且用指定的唐卡图像作为风格图输入到风格转换模块中，风格转换模块用于将待处理内容图迁移为风格化的结果图；

所述的损失计算模块用于计算内容图与结果图之间图像重建的相应损失，损失计算模块由内容损失模块、风格差异损失模块、全局结构损失模块、局部结构损失模块、噪声损失模块组成，内容损失模块计算内容图与结果图之间图像重建的内容损失，风格差异损失模块计算风格图与结果图之间图像重建的风格差异损失，全局结构损失模块计算内容图与结果图之间图像重建的全局结构损失，局部结构损失模块计算内容图与结果图之间图像重建的局部结构损失，噪声损失模块计算内容图与结果图之间图像重建的噪声损失。

2.根据权利要求1所述的一种结构保持的图像唐卡风格转换系统的方法，其特征在于，包括以下步骤：

步骤1.搭建风格转换模块和损失计算模块，损失计算模块由内容损失模块、风格差异损失模块、全局结构损失模块、局部结构损失模块、噪声损失模块组成；

步骤2，风格转换模块和损失计算模块训练，具体包括下列步骤：

步骤2.1，预训练显著性目标检测网络用于提取图像的局部结构特征从而计算局部结构损失；

步骤2.2，预训练深度预测网络用于提取图像的全局结构特征从而计算全局结构损失；

步骤2.3，将待渲染的内容图y_c输入到风格转换模块中，输入为RGB彩色图像，经过风格转换模块后输出为风格化的结果图y'；

步骤2.4，将步骤2.3得到的结果图y'和内容图y_c输入到内容损失模块中，计算图像重建的内容损失，得到内容损失函数L_content；

步骤2.5，将步骤2.3得到的结果图y'和唐卡风格图y_s输入到风格差异损失模块中，使用Gram矩阵计算风格差异损失，得到风格差异损失函数L_style；

步骤2.6，将步骤2.3得到的结果图y'和内容图y_c输入到局部结构损失模块中，计算图像重建的局部结构损失，得到局部结构损失函数L_local；

步骤2.7，将步骤2.3得到的结果图y'和内容图y_c输入到全局结构损失模块中，计算图像重建的全局结构损失，得到全局结构损失函数L_Globle，同时由于很多图像复原的算法都会放大噪声，从而放大噪声对复原结果的影响，需要在最优化问题的模型中添加一些正则项来保持图像光滑性的噪声损失函数L_tv，这里采用TV loss正则项进行噪声损失计算；

步骤2.8，将步骤2.4-2.7分别得到的内容损失函数L_content、风格差异损失函数L_style、局部结构损失函数L_local、全局结构损失函数L_Globle、噪声损失函数L_tv进行线性组合为一个新的损失函数作为总损失函数L_total；

L_total＝L_content+L_style+L_local+L_Globle+L_tv

步骤2.9，基于步骤2.8得到的总损失函数L_total，使用MS-COCO数据集作为内容图训练，并使用Adam优化算法对步骤1的风格转换模块进行优化，直至风格转换模块收敛，保存风格转换模块参数；

步骤3，风格转换，

加载风格转换模块和损失计算模块参数后，选取待渲染的内容图，将待渲染的内容图输入到训练好的风格转换模块中，得到风格迁移后的唐卡风格图。

3.根据权利要求2所述的结构保持的图像唐卡风格转换系统的方法，其特征在于，步骤2.1所述的局部结构损失模块采用的是预训练好的显著性目标检测网络BASNet。