[发明专利]一种基于双边生成对抗网络的线扫描图像超分辨率方法

说明书

本发明提出了一种基于双边对抗生成网络的线扫描图像超分辨率方法。通过将线扫描图像送入去噪网络去除线扫描图像包含的条纹噪声，然后送入融合网络充分融合线扫描图像的潜在信息，最后通过解码器重构得到高质量的高分辨率图像。在整个过程中，统一加权损失函数的设计使得去除图像噪声和提高图像质量之间保持了有效平衡，充分解决了图像超分辨率包含噪声、质量不佳等问题。

技术领域

本发明属于图像超分辨率领域，涉及一种基于双边生成对抗网络的线扫描图像超分辨率方法，适用于复杂成像环境的图像超分辨率场景。

背景技术

图像超分辨率是指从退化的低分辨率图像中恢复高分辨率图像，该技术是计算机视觉、医学图像处理、科学计算等许多领域的共性科学问题和核心技术。

传统的图像超分辨率方法是基于插值的，比如最近邻插值、双线性插值、双三次插值等。但它无法充分建立从低分辨率图像到高分辨率图像的映射。为了解决这一问题，许多人尝试提出了有效的改进办法。基于重构模型的算法通过添加图像的先验知识作为约束，使得高分辨率图像重建中的病态问题得到一定程度解决。Rasti等人[1]提出了一种迭代反投影，通过模拟低分辨率图像和观察图像之间的差异获得高分辨率图像。Dong[2]等人提出了一种具有结构稀疏性的非局部低秩正则化方法。随着深度学习的迅速发展，不少学者利用深度学习来提高图像超分辨率的性能。Shi[3]等人提出了高效亚像素卷积网络，通过提取低分辨率的特征，实现更好的重建质量和更高的计算效率。Ledig[4]等人将生成对抗网络应用于图像超分辨率，获得了更符合人类视觉效果的重建结果。X.Tian[5]等人利用空间光调制器的逐像素扫描能力将图像超分辨率性能提升到了新的高度，但重建算法无法在去除条纹噪声和超分辨率之间保持平衡。

上述算法只能将图像超分辨率性能提高到一定程度。具备逐像素扫描能力的空间光调制器虽然可以获得高质量的重建结果，但检测器填充因子会导致像素响应的不均匀性，视觉上表现为条纹噪声。因此如何利用空间光调制器的线扫描结果实现高质量高分辨率图像重建，同时去除条纹噪声将是本发明的关键问题。

参考文献

[1]P.Rasti,H.Demirel,and G.Anbarjafari,“Image resolution enhancementby using interpolation followed by iterative back projection,”in 2013 21stSignal Processing and Communications Applications Conference(SIU),(IEEE,2013),pp.1–4.

[2]W.Dong,G.Shi,X.Li,Y.Ma,and F.Huang,“Compressive sensing vianonlocal low-rank regularization,”IEEE Transactions on Image Process.23,3618–3632(2014).

[3]W.Shi,J.Caballero,F.Huszár,J.Totz,A.P.Aitken,R.Bishop,D.Rueckert,and Z.Wang,“Real-time single image and video super-resolution using anefficient sub-pixel convolutional neural network,”in Proceedings of the IEEEconference on Computer Vision and Pattern Recognition,(2016),pp.1874–1883.