[发明专利]一种人像风格迁移方法

权利要求书

1.一种人像风格迁移方法，其特征在于，该方法包括以下步骤：

步骤一、获取内容图像：

步骤101、采用摄像机在纯色背景下对人物进行拍摄，获取人物图像；其中，人物图像的大小为A×C个像素点，且A大于C，A和C均为正整数，其中，A表示行，C表示列；

步骤102、计算机对人物图像进行背景和前景分离，得到优化后的二值化人物图像；其中，优化后的二值化人物图像为人物图像；

步骤103、从计算机的背景图像库中选择背景图像；其中，背景图像的大小为A×C个像素点；

步骤104、计算机根据优化后的二值化人物图像，将人物图像中的人物区域与背景图像合成，得到合成人物图像，并将合成人物图像作为内容图像；

步骤二、风格迁移总损失函数的建立：

步骤201、随机生成白噪声图像作为初始的生成图像；

步骤202、选取卷积神经网络VGG19作为原始模型；其中，卷积神经网络VGG19包括16个卷积层和5个池化层，16个卷积层分别为Relu1_1卷积层，Relu1_2卷积层；Relu2_1卷积层，Relu2_2卷积层；Relu3_1卷积层，Relu3_2卷积层，Relu3_3卷积层，Relu3_4卷积层；Relu4_1卷积层，Relu4_2卷积层，Relu4_3卷积层，Relu4_4卷积层；Relu5_1卷积层，Relu5_2卷积层，Relu5_3卷积层，Relu5_4卷积层；

步骤203、计算机获取内容损失，具体过程如下：

步骤2031、将内容图像和初始的生成图像输入原始模型，并设定内容图像经Relu4_1卷积层输出第4_1层内容特征图，内容图像经Relu5_1卷积层输出第5_1层内容特征图；

设定初始的生成图像经Relu4_1卷积层输出第4_1层生成特征图，初始的生成图像经Relu5_1卷积层输出第5_1层生成特征图；其中，第4_1层内容特征图、第5_1层内容特征图、第4_1层生成特征图和第5_1层生成特征图的数量均为N，且N＝512；

步骤2032、计算机根据公式得到第n个第4_1层内容特征图和第n个第4_1层生成特征图之间的内容损失L_n,4；其中，表示第n个第4_1层内容特征图中(i,j)处的特征值，表示第n个第4_1层生成特征图中(i,j)处的特征值，i,j,n均为正整数，且1≤i≤I，1≤j≤J，I表示第4_1层内容特征图或者第4_1层生成特征图的总列数，J表示第4_1层内容特征图或者第4_1层生成特征图的总行数，1≤n≤N；

计算机根据公式得到第n个第5_1层内容特征图和第n个第5_1层生成特征图之间的内容损失L_n,5；其中，表示第n个第5_1层内容特征图中(i′,j′)处的特征值，表示第n个第5_1层生成特征图中(i′,j′)处的特征值，i′,j′均为正整数，且1≤i′≤I′，1≤j′≤J′，I′表示第5_1层内容特征图或者第5_1层生成特征图的总列数，J′表示第5_1层内容特征图或者第5_1层生成特征图的总行数；

步骤2033、计算机根据公式得到内容损失L_c；

步骤204、计算机获取风格损失，具体过程如下：

步骤2041、计算机将第一遮罩层覆盖在风格图像上，生成第一遮罩风格图像；计算机将第二遮罩层覆盖在风格图像上，生成第二遮罩风格图像；其中，第一遮罩层中人物区域的透明度设置为100％，第一遮罩层中背景区域的透明度设置为0；第二遮罩层中人物区域的透明度设置为0，第二遮罩层中背景区域的透明度设置为100％，第一遮罩层和第二遮罩层中背景区域均为白色，第一遮罩层中和第二遮罩层中人物区域均为黑色；

步骤2042、计算机将第一遮罩层覆盖在初始的生成图像上，生成第一遮罩生成图像，计算机将第二遮罩层覆盖在初始的生成图像上，生成第二遮罩生成图像；

步骤2043、计算机将第一遮罩风格图像、第二遮罩风格图像、第一遮罩生成图像和第二遮罩生成图像输入原始模型，且分别经Relu1_1卷积层、Relu2_1卷积层、Relu3_1卷积层、Relu4_1卷积层和Relu5_1卷积层输出的特征图进行风格损失的获取方法相同，其中，对经Relu c_1卷积层输出的特征图进行风格损失的获取，具体过程如下：

步骤20431、设定第一遮罩风格图像、第二遮罩风格图像、第一遮罩生成图像和第二遮罩生成图像分别经Relu c_1卷积层输出第c_1层第一遮罩风格特征图、第c_1层第二遮罩风格特征图、第c_1层第一遮罩生成特征图和第c_1层第二遮罩生成特征图；且第c_1层第一遮罩风格特征图，第c_1层第二遮罩风格特征图、第c_1层第一遮罩生成特征图和第c_1层第二遮罩生成特征图的数量均为N_c；其中，c为正整数，且1≤c≤5；

步骤20432、计算机获取N_c个第c_1层第一遮罩风格特征图的格拉姆矩阵且中第a_c行第b_c列元素值记作且表示N_c个第c_1层第一遮罩风格特征图中第a_c个第c_1层第一遮罩风格特征图和第b_c个第c_1层第一遮罩风格特征图之间的互相关程度，a_c和b_c均为正整数，且1≤a_c≤N_c，1≤b_c≤N_c；

获取N_c个第c_1层第二遮罩风格特征图的格拉姆矩阵且中第a_c行第b_c列元素值记作且表示N_c个第c_1层第二遮罩风格特征图中第a_c个第c_1层第二遮罩风格特征图和第b_c个第c_1层第二遮罩风格特征图之间的互相关程度；

获取N_c个第c_1层第一遮罩生成特征图的格拉姆矩阵且中第a_c行第b_c列元素值记作且表示N_c个第c_1层第一遮罩生成特征图中第a_c个第c_1层第一遮罩生成特征图和第b_c个第c_1层第一遮罩生成特征图之间的互相关程度；

获取N_c个第c_1层第二遮罩生成特征图的格拉姆矩阵且中第a_c行第b_c列元素值记作且表示N_c个第c_1层第二遮罩生成特征图中第a_c个第c_1层第二遮罩生成特征图和第b_c个第c_1层第二遮罩生成特征图之间的互相关程度；

步骤20433、计算机根据公式，得到第c_1层生成特征图的风格损失L_s,c-1；

步骤20434、计算机根据公式得到风格损失L_s；

步骤205、计算机根据公式得到总变差正则化损失L_tv；其中，R_i″,j″、G_i″,j″和B_i″,j″表示初始的生成图像中(i″,j″)像素坐标处的R分量、G分量和B分量，R_i″,j″+1、G_i″,j″+1和B_i″,j″+1表示初始的生成图像中(i″,j″+1)像素坐标处的R分量、G分量和B分量，R_i″+1,j″、G_i″+1,j″和B_i″+1,j″表示初始的生成图像中(i″+1,j″)像素坐标处的R分量、G分量和B分量，i″,j″均为正整数，且1≤i″≤C，1≤j″≤A；

步骤206、计算机根据公式得到正则惩罚项L_m；

其中，e为正整数，且e取值为1,2和3，当e＝1，表示初始的生成图像的R通道，V₁(o)表示初始的生成图像的R分量矩阵经PCA降维的向量化；当e＝2，表示初始的生成图像的G通道，V₂(o)表示初始的生成图像的G分量矩阵经PCA降维的向量化；当e＝3，表示初始的生成图像的B通道，V₃(o)表示初始的生成图像的B分量矩阵经PCA降维的向量化，M_I表示内容图像的拉普拉斯矩阵；

步骤207、计算机根据公式L_total＝αL_c+ρL_s+γL_tv+L_m，得到总损失函数L_total；其中，α表示内容损失的加权系数，ρ表示风格损失的加权系数，γ表示总变差正则化损失的权重；

步骤三、生成图像的迭代优化：

步骤301、计算机采用梯度下降法，利用总损失函数对初始的生成图像进行迭代优化；

步骤302、重复步骤301迭代优化直至满足迭代优化预设次数，得到风格迁移图像。