[发明专利]一种具有高保形性的快速风格迁移方法

说明书

本发明属于计算机视觉技术领域，具体为一种具有高保形性的快速风格迁移方法。本发明首先通过精简的内容和风格编码器分别提取内容和风格特征，然后利用多层级自适应实例正则化根据风格特征风格化内容特征，最后通过精简的解码器完成风格化的特征到风格化图片的映射；本发明进一步通过提出的加权风格损失函数，来保证训练的过程中的平衡，从而促进全局和局部风格迁移。本发明方法不仅对风格的迁移到位，并且具有更优的保形性，而且计算量小，保证了高分辨的实时性。

技术领域

本发明属于计算机视觉技术领域，具体为一种具有高保形性的快速风格迁移方法。

背景技术

风格迁移是一种在多媒体领域中，如摄影、直播、影视等，受欢迎的应用。通常来讲，风格迁移尝试将一张图像的风格迁移到另一张上图像上，并保留后者的图像内容。

现有的State-of-the-art(SOTA)算法[1-6]无法在保形性上取得令人满意的表现，或多或少地存在着图像内容的失真。并且，这些SOTA的任意风格迁移算法过于复杂，这使得它们很难被应用到移动设备上，尤其在输入图像的分辨率达到一定程度时，以移动设备的算力，实时性难以保证。

发明内容

为了解决现有技术中保形性表现不佳以及计算复杂度高的问题，本发明提出了一个新颖的任意风格迁移方法。本发明以低的计算复杂度完成高质量的风格迁移，使得风格迁移可以在高分辨率的情况下，在移动设备上获得实时的性能。本发明的技术方案具体介绍如下。

一种具有高保形性的快速风格迁移方法，具体步骤如下：

1)构建用于完成风格迁移的神经网络模型；神经网络采用编码-解码架构，其包括提取内容图的内容特征的内容编码器、提取风格图的风格特征的风格编码器、根据风格特征风格化内容特征的多层自适应实例正则化模块、以及将风格化的特征映像成风格化后的图像的解码器，其中，内容编码器由三层卷积层构成，风格编码器由三组卷积构成，每组卷积包含三层卷积层，多层自适应实例正则化模块在三个特征层级根据风格特征对内容特征进行自适应实例正则化，自适应实例正则化AdaIN()的公式如下：

其中x表示内容特征，y表示风格特征，σ是按通道求取标准差，μ是按通道求取均值；解码器的结构和内容编码器对称，包括三层卷积层，解码器的卷积层中间穿插最邻近上采样层；

用Conv_k_n_s表示卷积核尺寸为k*k、输出通道数为n、步长为s的卷积层；用U_m都表示m倍最邻近上采样层；

内容编码器的三层卷积层分别是：Conv_3_32_1,Conv_3_64_2,Conv_3_128_2；

风格编码器中的三组卷积，其中第一组由三个Conv_3_32_1卷积层构成，第二组由一个Conv_3_64_2和两个Conv_3_64_1卷积层构成，第三组由一个Conv_3_128_2和两个Conv_3_128_1卷积层构成。

解码器的结构如下：Conv_3_64_1,U_2,Conv_3_32_1,U_2,Conv_3_3_1；

2)根据损失函数训练用于完成风格迁移的神经网络，训练完成后的网络参数适用于任意的风格和内容图片；

3)训练完成后的网络先分别将内容图送入训练好的神经网络中的内容编码器，提取内容特征，风格图送入风格编码器，提取出风格特征，再由多层自适应实例正则化模块根据风格特征对内容特征进行风格化，获得风格化的特征，最后解码器将风格化的特征映射成风格化的图片。

本发明中，步骤2)中，神经网络的损失函数为：

损失函数＝α*内容损失+β*加权风格损失 式(3)

其中α和β分别表示内容损失和加权风格损失的权重，本发明中分别为1和0.2；