[发明专利]用于为低分辨率图像提供超分辨率的设备和方法

说明书

公开一种用于为低分辨率图像提供超分辨率的设备。所述设备可包括：图像块提取与表示装置，其包括被配置成从所述低分辨率图像中提取图像块并且将所提取的图像块表示为高维向量的第一组滤波器；映射装置，其包括被配置成将每个所述高维向量非线性地映射为高分辨率图像块表示的第二组滤波器；以及聚合装置，其被配置成聚合所述高分辨率图像块表示，以生成所述低分辨率图像的高分辨率图像。还公开一种用于为低分辨率图像提供超分辨率的方法。

技术领域

本申请总体涉及图像处理的领域，确切地说，涉及用于为低分辨率图像提供超分辨率的设备和方法。

背景技术

超分辨率(SR)是提高成像系统的分辨率的一类技术。用于单个图像的超分辨率的近来现有技术方法多数是基于实例的(example-based)。这些方法利用相同图像的内部相似度，或者从外部低分辨率和高分辨率实例对中学习映射函数。基于外部实例的方法通常具有充足的样本，但受到有效且简洁地对数据建模的困难的挑战。

一类现有技术SR方法学习高/低分辨率图像块(patch)之间的映射。这些研究在在对用于将低/高分辨率图像块关联起来的简明字典(compact dictionary)或多方面的空间(manifold space)进行如何学习的方面是不同的，并且在如何在此类空间中建立表示方案(representation scheme)的方面也是也不同的。在这些方法中，图像块的优化是焦点；图像块提取和聚合步骤被视作预处理/后处理并且单独地进行处理。

卷积神经网络(CNN)追溯到数十年前，并且近来，部分由于它成功进行图像分类而火爆地流行起来。卷积神经网络通常应用于自然图像去噪和去除噪音模式(污物/雨)，而不用于图像超分辨率问题。

发明内容

根据本申请的实施方式，公开了用于为低分辨率图像提供超分辨率的设备。所述设备可包括：图像块提取与表示装置，其包括被配置成从所述低分辨率图像中提取图像块并且将所提取的图像块表示为高维向量的第一组滤波器；映射装置，其包括被配置成将所述高维向量中的每个非线性地映射为高分辨率图像块表示的第二组滤波器；以及聚合装置，其被配置成聚合所述高分辨率图像块表示以生成所述低分辨率图像的高分辨率图像，其中，所述第一组滤波器被配置成从所述低分辨率图像中提取所述图像块并且根据第一参数的第一非线性函数将所提取的图像块中的每个表示为所述高维向量，其中所述第一参数是从与所述低分辨率图像相关联的预定参数中确定的。

在一个实施方式中，所述第二组滤波器被配置成根据第二参数的第二非线性函数将所述高维向量中的每个非线性地映射为所述高分辨率图像块表示，其中所述第二参数是从与所述高维向量相关联的预定参数中确定的。

在一个实施方式中，上述的设备还包括：比较装置，其被配置成从预定训练集中对与所述低分辨率图像对应的标定真实高分辨率图像进行取样，并且比较所述聚合的高分辨率图像与对应的标定真实高分辨率图像之间的不同以生成重建误差，其中将所述重建误差反向传播通过经过预先训练的卷积神经网络，以确定所述第一参数和所述第二参数。在一个实施方式中，所述重建误差可例如包括均方误差。

在一个实施方式中，上述的设备还包括训练集准备装置，其中所述训练集准备装置还包括：修剪器，其被配置成从随机选择的训练图像中随机修剪多个子图像，以生成标定真实高分辨率子图像的集合；低分辨率子图像生成器，其被配置成基于所述真实高分辨率子图像的集合来生成低分辨率子图像的集合；配对装置，其被配置成将所述标定真实高分辨率子图像中的每个与对应的低分辨率子图像进行配对；以及收集器，其被配置成收集配对的标定真实高分辨率子图像和所述低分辨率子图像，以形成所述预定训练集。

在一个实施方式中，所述低分辨率子图像生成器还包括：模糊装置，其被配置成通过高斯核而使所述标定真实高分辨率子图像中的每个模糊；下取样装置，其被配置成以预定比例因子对模糊的标定真实高分辨率子图像进行下取样；以及放大装置，其被配置成以预定放大因子放大下取样的标定真实高分辨率子图像，以生成所述低分辨率子图像的集合。