[发明专利]一种基于深度学习的图像跨尺度超分辨率方法

说明书

本发明公开了一种基于深度学习的图像跨尺度超分辨率方法，首先通过传统的图像处理算法创建生物图像数据集；然后基于深度学习网络U‑net，去除原始生物图像中的噪声及冗余信息，得到网络处理后的超分辨率的生物图像；接下来基于生物图像数据集和深度学习网络，提升图像的空间分辨率，实现生物图像的跨尺度超分辨率；最后基于网络输出的结果图，进行三维重构，得到跨尺度微纳结构的三维构象的高分辨率的还原。本发明可以在少量数据图像的情况下实现的生物图像跨尺度超分辨率，达到了比较好的效果。

技术领域

本发明属于图像处理技术领域，具体涉及一种图像跨尺度超分辨率方法。

背景技术

近年来，跨尺度分析方法与技术已成为生命科学、材料科学、信息科学等研究领域的重要手段，但是由于获取到的图像的分辨率有限，限制了跨尺度方法与技术的进展。因此，构建跨尺度超分辨率检测方法，对于满足当前科研与市场的迫切需求具有重大意义。

基于传统图像处理算法的图像跨尺度超分辨技术，包括基于差值的图像处理算法、基于退化模型的图像处理算法、基于学习的图像处理算法等，普适性较差，当图像稍有变动或任务需求稍有改变，已有的处理算法便不再适用。近年来，各种基于深度学习的超分辨率方法得到了发展。2014年起，SRCNN、FSRCNN、SRGAN等深度神经网络陆续被提出，图像超分辨率技术日益成熟并被广泛应用。

然而，学者们提出的基于深度学习的超分辨率方法绝大多数是针对自然图像的，对于特定领域的特殊图像并不适用。对于生物图像而言，首先，生物图像的公开数据集比较少，且由于生物图像比较难获取，数据集中的图像数量也较少；其次，由于生物图像的获取方式更加困难，生物图像中往往比自然图像含有更多的噪声和其他的一些冗余信息并且很难进行模拟仿真，使得生物图像的超分辨率处理更加困难。

发明内容

为了克服现有技术的不足，本发明提供了一种基于深度学习的图像跨尺度超分辨率方法，首先通过传统的图像处理算法创建生物图像数据集；然后基于深度学习网络U-net，去除原始生物图像中的噪声及冗余信息，得到网络处理后的超分辨率的生物图像；接下来基于生物图像数据集和深度学习网络，提升图像的空间分辨率，实现生物图像的跨尺度超分辨率；最后基于网络输出的结果图，进行三维重构，得到跨尺度微纳结构的三维构象的高分辨率的还原。本发明可以在少量数据图像的情况下实现的生物图像跨尺度超分辨率，达到了比较好的效果。

本发明解决其技术问题所采用的技术方案包括如下步骤：

步骤1：采集低分辨率原始共聚焦生物图像；

步骤2：对于获取到的原始共聚焦生物图像，通过图像处理算法去除噪声和冗杂信息，并得到对应的高分辨率清晰生物图像；

步骤3：将原始共聚焦生物图像和对应的高分辨率清晰生物图像组成图像对，构建生物图像数据集；

步骤4：使用步骤3生成的生物图像数据集对深度神经网络U-net进行训练，将低分辨率原始共聚焦生物图像作为输入，高分辨率清晰生物图像作为标签图像，使深度神经网络U-net学习到低分辨率原始共聚焦生物图像和高分辨率清晰生物图像之间的关系；

步骤5：将待检测的低分辨率原始共聚焦生物图像输入到步骤4训练完成的深度神经网络U-net中，进行超分辨率检测，得到去除噪声及冗余信息的清晰的超分辨率图像；

步骤6：使用峰值信噪比PSNR和图像截面亮度曲线对比低分辨率原始共聚焦生物图像和由深度神经网络U-net得到的对应的清晰的超分辨率图像之间的质量提升；

步骤7：将多张相邻的原始共聚焦生物图像输入步骤4训练完成的深度神经网络U-net中得到对应的清晰的超分辨率输出结果图，对这些结果图进行三维重构，得到跨尺度微纳结构的三维构象高分辨率还原。

进一步地，所述采集低分辨率原始共聚焦生物图像的方法为共聚焦显微镜分层扫描的方法。