[发明专利]一种基于深度图像类比的视觉特性迁移方法

说明书

技术领域

本发明涉及图像重构领域，尤其是涉及了一种基于深度图像类比的视觉特性迁移方法。

背景技术

长久以来，图像重构都是计算机视觉领域受到广泛关注的议题，尤其在近些年来海量图像开始出现，人们开始关注自己的图像风格。图像重构可以利用固有的图像风格让用户进行选择，即可将已存在的照片往想要的风格发展，由此催生视觉特性迁移方法。从一张图像中复制其颜色、纹理和风格等特性到另一张图像中去，使得后者具有明显的前者风格，这种操作除了在社交领域中起到极大的娱乐作用外，在实用工程学中也有启发意义。在深海远洋中，涉及辽阔的海域面积，对不同的海域进行独立风格的绘图、对灰度遥感图像的视觉特性分割，尤其在航道归类、专业海拔地图绘制等方面具有巨大潜能。

视觉特性的迁移如今仍然是非常开放的问题。由于任务中涉及特征的分类及提取、图像的重构及合成、原始图像的信息保留程度等都需要利用到图像本身尽可能多的信息，而以往的方法更多地聚集在低阶信息中，只注重模糊风格处理，给这种视觉上要求更高的特性迁移造成很高难度。

本发明提出了一种深度学习网络提取视觉特性的新框架。首先将两张图像输入到预训练的网络中，初始化最后5层网络，对该5层网络进行前向最近邻场搜寻和逆向最近邻场搜寻，再由底层往上进行上采样操作，使得以斑块为主的最近邻场由粗往细调整，最后得到的输出特征进行图像重构，产生具有相互视觉特性的目标图像。本发明可以针对不同风格、纹理、颜色等特征的图像，提供一个深度学习框架来进行视觉特性的提取与迁移，极大程度提高图像重构的效果。

发明内容

针对解决在图像特性在重构中的问题，本发明的目的在于提供一种基于深度图像类比的视觉特性迁移方法，提出了一种深度学习网络提取视觉特性的新框架。

为解决上述问题，本发明提供一种基于深度图像类比的视觉特性迁移方法，其主要内容包括：

(一)双向迁移约束条件；

(二)深度网络预处理；

(三)图像类比算法；

(四)数据整合。

其中，所述的双向迁移约束条件，设定进行视觉特性迁移的配对原始图像为A和B′，其经过视觉迁移后的图像分别为A′和B，即图像A′具有图像B′的视觉特性，图像B具有图像A的视觉特性，则在特性迁移过程中具有双向约束条件：

(1)A和A′、B和B′在相同空域位置上相互对应；

(2)A和B、A′和B′在外观上有相似结构，如颜色、光照、纹理等特征；

(3)从A到A′、B′到B为正向映射函数，将像素p从原位匹配过去，用Φ_a→b表示，反之用Φ_b→a表示，由上各匹配图像的关系有双向迁移约束条件：

A(p)＝B(Φ_a→b(p))，A(p)＝B'(Φ_a→b(p))(1)

以及，

Φ_a→b(Φ_a→b(p))＝p，Φ_b→a(Φ_b→。(p))＝p(2)

其中提及的像素p都是原位置匹配。

进一步地，所述的深度网络预处理，使用已经在ImageNET数据库上进行训练得到的深度学习网络VGG19型的权值网络，将图像A和B′输入到网络中去，取最后的5层输出特征图和({L＝1…5})，且该特征图取自各层的修正线性单元层结果，该结果具有三维张量；

分辨率由特征图的低层往高层时会递增，即是一个粗糙到精良的调整过程，因此初始化过程中让

进一步地，所述的图像类比算法，包括最近邻场搜寻、图像重建、最近邻场上采样。

进一步地，所述的最近邻场搜寻，在第L层，通过对像素p周围的斑块进行搜寻特征，从而与待匹配图像之间进行斑块相似性衡量，具体地：

(1)在前向最近邻场和逆向最近邻场中，它们的映射函数用和表示，其值可以通过最小化以下公式得到：

其中，N(p)表示在p点周围的斑块，这个斑块的大小设置为：当L＝5,4,3时，尺寸为3×3，当L＝2,1时，尺寸为5×5；

(2)对于源图像A(或A′)，我们通过公式(3)找到目标图像B(或B′)中的最近邻位置q，即

(3)公式(3)中的函数F(x)是一个向量，代表在位置x的第L层特征图的所有通道，由于相对值比绝对值在这个场景中更有意义，于是将该特征图向量归一化，即：