[发明专利]对风格迁移网络的压缩方法及风格迁移方法、装置和系统

说明书

本申请公开了一种对风格迁移网络的压缩方法及风格迁移方法、装置和系统，其中该风格迁移的方法可以包括：在获得内容图像对应的内容特征图和风格图像对应的风格特征图以后，分别对所述内容特征图以及所述风格特征图逐通道进行排序；获取排序后的内容特征图的次序统计信息，并按照所述次序统计信息对排序后的风格特征图进行重排；根据所述内容特征图以及重排后的风格特征图生成风格迁移图像。从而实现对该指定内容特征图对应的内容图像的任意风格迁移，无需针对新的风格重新训练模型，可扩展性强。

技术领域

本申请实施例涉及图像或视频处理技术，尤其涉及一种对风格迁移网络的压缩方法及风格迁移方法、装置和系统。

背景技术

在计算机视觉领域，风格迁移(style transfer)是很重要的一类图像编辑任务，风格迁移的目的是将一张风格图像(style image)的视觉元素迁移到另一张内容图像(content image)，从而生成风格化的图像(stylized image)。

在相关技术中，实现风格迁移的方式有两种：

一种是基于在线图像优化的风格迁移算法。该方案通过让重建后的图像以梯度下降的方式更新像素值，使其风格统计量(如格拉姆Gram矩阵)接近风格图像的风格统计量，然后使其VGG(Visual Geometry Group Network)网络的高层特征表达接近内容图像的特征表达，从而获得同时拥有风格图像和内容图像特点的重建图像。该方案的缺点是图像重建的优化速度较慢，效率较低，不利于工业化的部署。

另一种是基于离线模型优化的风格迁移算法。该方案是通过预训练的前向网络，在重建图像的同时加入风格图的信息。该方法是目前工业界采用的主要方法，该方法的缺点是单个模型可以学习的风格较少，通常对于一个新的风格需要重新训练新的模型，可扩展性较弱。

同时，上述的风格迁移方法均存在参数量较多、计算开销较大、不利于移动端部署的问题。

发明内容

本申请提供一种对风格迁移网络的压缩方法及风格迁移方法、装置和系统，以解决单个风格迁移模型可以学习的风格较少，可扩展性较弱，以及现有的风格迁移模型的参数量较多、计算开销较大、不利于移动端部署的问题。

第一方面，本申请实施例提供了一种风格迁移的方法，所述方法包括：

在获得内容图像对应的内容特征图和风格图像对应的风格特征图以后，分别对所述内容特征图以及所述风格特征图逐通道进行排序；

获取排序后的内容特征图的次序统计信息，并按照所述次序统计信息对排序后的风格特征图进行重排；

根据所述内容特征图以及重排后的风格特征图生成风格迁移图像。

第二方面，本申请实施例还提供了一种风格迁移系统，所述风格迁移系统中包括风格迁移网络，所述风格迁移网络包括编码网络、风格映射单元以及解码网络，其中，

所述编码网络，用于对输入的内容图像以及风格图像进行编码处理，生成对应的内容特征图以及风格特征图，并将所述内容特征图以及所述风格特征图输出至所述风格映射单元，以及，将所述内容特征图输入至所述解码网络；

所述风格映射单元，用于分别对所述内容特征图以及所述风格特征图逐通道进行排序；获取排序后的内容特征图的次序统计信息，并按照所述次序统计信息对排序后的风格特征图进行重排，以及，将重排后的风格特征图输入至所述解码网络；

所述解码网络，用于根据所述内容特征图以及重排后的风格特征图生成风格迁移图像。

第三方面，本申请实施例还提供了一种对上述的风格迁移网络进行压缩的方法，所述方法包括：

将风格迁移网络作为教师网络，并建立一个与所述教师网络具有相似结构的学生网络；