[发明专利]一种将在线课堂中的图像和视频卡通化的方法

权利要求书

1.一种将在线课堂中的图像和视频卡通化的方法，其特征在于，包括以下步骤，

（1）从网上爬取若干真实图像和若干卡通图像作为训练数据集；

（2）构建生成对抗网络，将训练好的网络区别提取图像的高级特征的内容，设计损失函数来调整每个组件的权重；设计三个分别独立的图像处理模块，用来提取相应的三种卡通表示，并指导基于生成对抗网络的图像卡通化框架，平衡生成对抗网络中每个表示的权重，调整损失函数，获得卡通图像输出的最优样式；

（3）对于在线课堂中的输入图像自主选择卡通化模式；

（4）在训练完成后的生成对抗网络的生成器中，输入将要处理的在线课堂图像，输出相对应的卡通图；

其中，卡通化模式包括人像卡通化和整体卡通化, 对抗网络由一个生成器G和两个鉴别器D_x、D_y组成。

2.根据权利要求1所述的一种将在线课堂中的图像和视频卡通化的方法，其特征在于，所述步骤（1）中，三个独立的图像处理模块的三种卡通表示分别是，卡通图像通过平滑的轮廓表面表示、不同稀疏色块的结构表示、反映高频率纹理和细节的纹理表示。

3.根据权利要求2所述的一种将在线课堂中的图像和视频卡通化的方法，其特征在于，所述步骤（2）具体为，将步骤（1）所述真实图像I作为引导图，输入生成器G转化成卡通图象，I₁表示输入图片，I₁₁表示参考卡通图像，图像处理模块指导优化生成对抗网络图像卡通化的框架，包括以下步骤，

（201）图像处理模块F_d为了平滑图像，同时保持全局语义结构，边缘检测采用可区分的引导滤波器保留过滤，输出只提取保留颜色组成和表面特征的卡通图象；鉴别器D_x判断模型是否输出，并且是否和参考卡通图像具有相似的表面，并引导生成器G学习存储在提取的表面表示中的信息，表面损失函数设计为：

L_sur（G，D_x）=log （D_x（F_d（I₁₁，I₁₁）））+log（1-D_x（F_d（G（I₁），G（I₁）））） （1）；

（202）图像处理模块F_s根据输入的图像，提取一个不可分割图，在每个分割区域使用标准超像素算法用像素值的平均值着色生成结构表示；用预先训练的VGG_n网络来实施空间约束，结构损失函数设计为：

L_str=||VGG_n（G（I₁））-VGG（F_s（G（I₁）））|| （2）；

（203）图像处理模块F_t减少颜色和亮度的影响并保留高频特征，然后让网络自主学习纹理细节，在学习纹理特征时，RGB三个颜色通道利用单通道纹理算法分开分析处理，RGB图转化的灰度图表示为U，F_t公式为：

F_t（I_rgb）=（1-α）（β₁*I_r+β₂*I_g+β₃*I_b）+α*U （3）；

所述公式（3）中，设α在0~1之间取值，β1 、β2、β3在-1~1之间取值；

鉴别器D_y鉴别输出图像和参考卡通图像提取的纹理表示，并引导生成器G学习存储在纹理表示中的清晰图像和精细纹理，纹理损失函数设计为：

L_tex（G，D_y）=log （D_y（F_t（I₁₁）））+log（1-D_y（F_t（G（I₁））））（4）；

（204）通过调整λ₁、λ₂、λ₃、λ₄以获得损失函数最优化，总得损失函数设计为：

L=λ_1*L_sur+λ_2*L_str+λ_3*L_tex+λ_4*L_tv（5）；

所述公式（5）中，为了减少高频噪声，设计损失函数L_tv，图像的空间维度用H、W、C代表，公式为：

L_tv=1/(H*W*C)* ||（▽x(G(I₁))+▽y(G(I₁))）|| （6）；

其中，F_t（I_rgb）为提取颜色图像，去除亮度和颜色信息；F_d为表面表示提取，F_s为结构表示提取，F_t为纹理表示提取，G（I₁））为图像I₁通过生成器G生成的卡通图像，VGG_n（G（I₁））为对G（I₁）实施空间约束；F_s（G（I₁）为提取G（I₁）的结构表示， VGG（F_s（G（I₁））为对F_s（G（I₁））实施空间约束；F_d（I₁₁，I₁₁）为输入图像I₁₁，返回被移除纹理和细节的表面表示；F_d（G（I₁）为提取G（I₁）的表面表示，F_d（G（I₁），G（I₁））为输入图像G（I₁），返回被移除纹理和细节的表面表示；I_r、I_g和I_b为三个颜色通道，F_t（I₁₁）为提取I₁₁颜色图像，去除亮度和颜色信息，F_t（G（I₁））为提取G（I₁）颜色图像，去除亮度和颜色信息，λ₁为表面损失函数的参数，λ₂为结构损失函数的参数，λ₃为纹理损失函数的参数，λ₄为噪声损失函数的参数，α为， D_y（F_t（I₁₁））为判定特征F_t（I₁₁）来自训练样本I₁₁ 的概率，D_y（F_t（G（I₁）））为判定特征F_t（G（I₁））来自训练样本I₁的概率，▽x(G(I₁))、▽y(G(I₁))使用梯度下降算法对G（I₁）进行平滑处理且降低图像失真度。