[发明专利]基于结构光和深度学习的单曝光超分辨率成像方法及装置

说明书

本发明公开了一种基于结构光和深度学习的单曝光超分辨率成像方法及装置，其中，该方法包括：对多个不同传统照明编码进行叠加生成复合结构光照明编码；采集待处理目标场景在复合结构光照明编码单次曝光下生成的低分辨率图像；将低分辨率图像输入预设成像模型进行处理，输出待处理目标场景对应的超分辨率图像。该方法具有深度学习理论和结构光编码照明理论的支撑，实现方案简单，仅需单次曝光即可实现超分辨图像的快速重建。

技术领域

本发明涉及计算摄像学中的超分辨成像技术领域，特别涉及一种基于结构光和深度学习的单曝光超分辨率成像方法及装置。

背景技术

光学显微成像的分辨率受光学系统衍射特性的限制，近年来，研究人员在利用现有成像系统恢复更高分辨率的图像方面付出大量努力。2000年，加利福尼亚大学旧金山分校的M.Gustafsson博士提出了结构光照明显微法(Structured IlluminationMicroscopy，SIM)。SIM通过结构光编码照明光源(一般是正弦编码)照射物体，在傅里叶空间频域，结构光照明编码频谱与样本原像频谱卷积，以此将位于显微成像过程的光学传递函数(Optical Transfer Function，OTF)之外的信息转移到可观测范围内，通过特定算法还原拼接OTF范围外的高频信息与OTF内的低频信息，从而还原高分辨率图像。SIM成像分辨率最高可达原成像系统分辨率的两倍。2005年，Gustafsson在SIM的基础上进一步提出饱和结构光照明显微法(Saturated Structure Illumination Microscopy，SSIM)，SSIM利用基于荧光分子激发态饱和效应的非线性结构光照射样本，照明光含有空间频率的高次谐波分量，故可以提取高于原成像系统分辨率多倍的高分辨图像。

具体的，SIM通过采集多张结构光编码照明的低分辨率编码图像通过特定算法生成一张高分辨图像，传统的SIM图像恢复算法有直接法、贝叶斯估计法及Gerchberg–Saxton算法(G-S算法)等。

由于经正弦函数编码的图像傅里叶空间频谱可以看作为低分辨图像频谱与两个边带频谱的组合，直接法通过同种编码方式的多个不同相位的正弦编码结构光照射样本，采集多组低分辨编码图像，经二维傅里叶变换得到其傅里叶空间频谱，联立方程求解OTF范围内与OTF范围外的频谱，并将其组合拼接可得高分辨图像频谱，再经二维逆傅里叶变换得到高分辨率图像。直接法计算过程简单，但需要采集多张低分辨编码图像以恢复一张高分辨图像，且鲁棒性差，对实际成像过程引入的噪声较敏感。

贝叶斯估计法基于贝叶斯统计模型，已知场景的高分辨率图像和低分辨率编码图像的统计规律，以及由高分辨率图像到低分辨率编码图像的生成规则，根据贝叶斯统计模型计算低分辨率编码图像对应的高分辨率图像的统计模型，可通过后验均值估计法等方式恢复高分辨率图像。但贝叶斯估计法也需要采集多张低分辨编码图像以恢复一张高分辨图像。

G-S算法利用低分辨编码图像及其傅里叶空间频谱建立目标高分辨图像的空域和频域约束，迭代更新目标图像及其傅里叶空间频谱，直至两次迭代结果之间的误差到达设定阈值。相比直接法和贝叶斯估计法，G-S算法所需低分辨编码图像较少，鲁棒性较强，但由于需要迭代更新，故而实时性较差。

近年来，随着深度神经网络的发展，研究者开始运用深度学习理论进行图像的超分辨研究，2016年香港中文大学汤晓鸥教授课题组利用卷积神经网络对单张图像进行超分辨恢复。随后，研究人员提出利用更深的卷积神经网络以提高分辨率。2017年美国Twitter公司提出利用生成对抗网络进行单张图像的超分辨。然而，一般而言，真实的高分辨图像所含信息量高于单张低分辨图像所含信息量，所以仅由一张未处理的低分辨图像恢复高分辨原始图像是病态问题，而深度学习理论基于图像的统计规律进行超分辨恢复，并没有在本质上解决此问题，所以仅由深度神经网络学习恢复的高分辨图像不应认为是真实的高分辨图像。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。