[发明专利]一种基于小波变换的可逆流模型图像超分辨率的方法

说明书

本发明涉及了一种基于小波变换的可逆流模型图像超分辨率的方法，属于人工智能、图像处理领域。本发明结合小波变换、标准化流(Flow)模型、自注意力、混合回归累计分布函数与变分去量化实现图像超分辨率重构。在标准化流可逆模型中，结合正交小波变换做多尺度信号表示，高效且高度并行地训练符合可逆性的雅克比矩阵，作为标准化流的一部分。同时，本发明引入了变分去量化方式，较传统的均匀去量化提升了训练效果和泛化损失，且变分推断的噪声分布能够被更好地拟合。此外，将自注意力、混合回归累计分布函数引入标准化流模型的耦合变换中，从而提高耦合层的密度建模性能。

技术领域

本发明涉及一种基于小波变换的可逆流模型图像超分辨率的方法，具体为一 种利用训练数据集得到模型来讲模糊图像生成清晰图像的方法，属于人工智能、 图像处理领域。

背景技术

图像超分辨率(SR)是一个非常活跃的研究课题，有着许多重要的应用。 它通过增加缺失的高频信息来提高给定图像的分辨率。早期基于学习的方法主要 采用基于稀疏编码的技术或局部线性回归。2014年，SRCNN首先证明了基于实 例的深度学习对超分辨率的有效性，这进一步导致了更有效的网络架构的发展。 然而，由于它们依赖于L2和L1的重建损失，这些方法并不能再现自然图像中 存在的清晰细节。在URDGN、SRGAN中，采用基于条件GAN的架构和培训 策略解决了这一点。虽然GANs提供了一种学习数据上分布的方法，但条件GANs 非常容易出现模式崩溃，因为它们很容易学会忽略随机输入信号。因此，大多数 基于条件GAN的超分辨率和图像到图像的转换方法都采用纯确定性映射。van den Oord等人也描述了PixelRNN的多尺度变体，它以较低分辨率的输入为条件 生成完整的高分辨率图像。但是，该结构不将条件生成限于高分辨率图像的添加 内容。因此，这种模型只能用于生成，而不能进行推断。

标准化流(Flow)是一类概率生成模型，能够快速计算密度与高效采样，它 们也被证明可以有效地模拟复杂的分布，如图像分布，因此可以在超分辨率应用 场景上发挥巨大的作用。类似于变分自编码器，流模型同样是将概率分布映射在 潜变量中。标准化流通过一系列转换推动一个简单的密度，以产生更丰富、可能 更多的模态分布。重复将简单的变换应用到单模初始密度也会导致非常复杂的模 型。由于流的这个简单重复的特点，导致模型表达性欠缺，由此引入了耦合层来 增强表达性。

然而，目前的流模型带有大量的计算成本，通常需要数月的GPU训练时间 来达到最先进的结果。这在一定程度上是由归一化流是可逆的和保持维数的要求 所导致的。Dinh等人针对这个问题给出了解决方案，并引入了一种多尺度流模 型的形式，作为这种多尺度流模型的补充，Ardizzone等人进一步提出了使用Haar 小波变换来重整形并降低归一化流内的空间分辨率。虽然这样带来了训练速度的 加快，但是仍然在训练损失，耦合层表达性和泛化上表现不够优异，仍落后于 VAE模型。

发明内容

本发明的目的是针对上述已有技术存在的不足和缺陷，在精确训练生成清晰 图像任务中，提供了一种基于小波变换的可逆流模型图像超分辨率的方法。

本发明采用的技术方案是：一种基于小波变换的可逆流模型图像超分辨率的 方法，结合了小波变换、标准化流模型、自注意力、混合回归累计分布函数与变 分去量化。标准化流是一类概率生成模型，最早的标准化流模型是Dinh,Krueger 与Bengio于2014年投递的NICE，随后他们又在2016年发布了RealNVP，它通 过增加更灵活的耦合层来提高NICE的表达性。流模型能够快速计算密度与高效 采样，同时也被证明可以有效地模拟复杂的分布，如图像分布，因此可以在超分 辨率应用场景上发挥巨大的作用。类似于变分自编码器，流模型同样是将概率分 布映射在潜变量中。标准化流通过一系列转换推动一个简单的密度，以产生更丰 富、可能更多的模态分布。