[发明专利]一种基于生成对抗网络的单幅图像超分辨纹理增强方法在审
申请号: | 201910250713.6 | 申请日: | 2019-03-29 |
公开(公告)号: | CN109993698A | 公开(公告)日: | 2019-07-09 |
发明(设计)人: | 王延年;李文婷;程燕杰 | 申请(专利权)人: | 西安工程大学 |
主分类号: | G06T3/40 | 分类号: | G06T3/40;G06T5/00;G06N3/04 |
代理公司: | 西安弘理专利事务所 61214 | 代理人: | 宁文涛 |
地址: | 710048 *** | 国省代码: | 陕西;61 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 纹理 单幅图像 平滑图像 对抗 低分辨率图像 高分辨率图像 网络框架 网络 超分辨 超分辨率图像 目标识别系统 博弈 放大观测 基准数据 数据集中 损失函数 特征空间 图像空间 网络提供 网络训练 纹理区域 纹理细节 平滑 残差 感知 模糊 | ||
本发明公开了一种基于生成对抗网络的单幅图像超分辨纹理增强方法,首先集使用广泛的基准数据集,将数据集中的高分辨率图像降为低分辨率图像;然后将低分辨率图像进行放大观测值,生成过平滑图像;产生的过平滑图像输入到深度残差网络中,使用生成对抗网络提供的框架,把过平滑图像细节的损失从图像空间转移到目标识别系统更高层次的特征空间;将生成对抗网络框架中使用感知损失和纹理损失结合的损失函数来指导网络训练;最后将指导训练和生成对抗网络框架中生成网络和判别网络的动态博弈,最终得到具有更多纹理细节的高分辨率图像,利用该方法可以实现单幅图像纹理增强,解决了现有的超分辨率图像中的纹理区域模糊、过于平滑和不自然问题。
技术领域
本发明属于图像处理技术领域,具体涉及一种基于生成对抗网络的单幅图像超分辨纹理增强方法。
背景技术
图像超分辨主要分为三种类型:(1)基于插值的方法:含有最近邻插值和双三次插值法,相比较于双三次插值法,最近邻插值运算复杂度较小,但是图像边缘的平滑度低于双三次插值法,两者相同的优点是算法简单易于实现,缺点都是得到的超分辨率图像清晰度有限。(2)基于重建的方法:目的在于重建退化图像中丢失的高频信息,Yang等人提出的迭代反向投影算法虽然计算量少并且简单,但是无法处理图像中的复杂结构。(3)基于学习算法:主要思想是通过低分辨率图像和高分辨率图像之间存在的一些关系来学习丢失在低分辨率图像中的高频细节,大量实验表明了它强大的图像超分辨率能力,但是对于不合适的训练样本,会在合成图像中产生明显的伪影和不必要的噪声,比如:卷积神经网络(CNNs)、稀疏表示等。
单幅图像超分辨就是完成从单个低分辨率图像输入中推断出一幅高分辨率图像的任务。传统上,算法的性能是通过像素集的重建来衡量的,比如常用的峰值信噪比(Psnr),这种指标和人类对图像质量的感知相关性很差,因此,如果使用最小化这类度量的算法,结果往往会产生过平滑的图像,这些图像缺乏高频纹理,虽然它会产生较高的峰值信噪比值,但看起来并不自然。尽管使用更快更深的卷积神经网络在单幅图像超分辨率的准确性和速度方面取得了突破,但如何恢复图像更精细的纹理细节这个问题仍未解决,提出的超分辨率生成对抗网络是一个从4×下采样中恢复照片真实感自然图像的框架,将深度残差网络应用于对抗性训练中,在高放大率下提高了图像质量,结合感知损失函数和纹理损失函数,其中感知损失函数包括对抗性损失和内容损失。重点要使地面真实图像在训练期间创建真实的纹理,而不是对像素的精确再进行优化。纹理损失通过减少对抗性损失项的伪影来增加峰值信噪比值和丰富纹理,本专利涉及的增强算法针对纹理细节丢失的图像,所提出的超分辨方法在纹理和感知两个方面均可重建高质量的图像。
发明内容
本发明的目的是提供一种基于生成对抗网络的单幅图像超分辨纹理增强方法,实现单幅图像纹理增强,解决了现有的超分辨率图像中的纹理区域模糊、过于平滑和不自然问题。
本发明所采用的技术方案是,一种基于生成对抗网络的单幅图像超分辨纹理增强方法,具体步骤如下:
步骤1:收集基准数据集,将基准数据集中的高分辨率图像降为低分辨率图像;
步骤2:将经步骤1得到的低分辨率图像的观测值进行放大,生成过平滑图像;
步骤3:将步骤2产生的过平滑图像输入到深度残差网络SRResNet中,使用生成对抗网络提供的框架,把过平滑图像细节的损失从图像空间转移到目标识别系统更高层次的特征空间;
步骤4:将步骤3生成对抗网络框架中使用感知损失和纹理损失结合的损失函数来指导过平滑图像进行网络训练,最终得到具有更多纹理细节的高分辨率图像。
本发明的特点还在于:
其中步骤1为收集使用广泛的三个基准数据集Set5、Set14和Urban100,将基准数据集中的高分辨率图像IHR使用下采样算子降为低分辨率图像ILR;
其中步骤1具体包括以下步骤:
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于西安工程大学,未经西安工程大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910250713.6/2.html,转载请声明来源钻瓜专利网。