[发明专利]一种基于深度学习的医学高光谱显微图像超分辨重构方法

说明书

本发明公开了一种基于深度学习的医学高光谱显微图像超分辨重构方法，实现该方法的重构网络分为两个分支：主分支和反馈分支，两者都是由增强残差块堆叠而成的，区别是使用不同个数的残差块。将输入的低分辨图像经过bicubic插值算法放大到目标尺寸，得到网络的输入，主分支依据低分辨输入图像，重构出中间结果，其质量有所改善，反馈分支获取中间结果，并提取其高级特征，将所提特征融合到主分支的相应位置，最终网络输出具有清晰边缘和梯度的超分辨重构结果。本发明主分支产生的结果能在一定程度上恢复出高频信息，而反馈分支能够进一步增强中间结果的梯度信息，改善重构图像的质量。

技术领域

本发明涉及医学高光谱图像重构技术领域，尤其是一种基于增强残差块和深度学习的超分辨重构方法，特别适合于在下采样倍数比较高、高频信息丢失严重的情况下对低空间分辨率的医学高光谱图像进行超分辨重构。

背景技术

高光谱成像技术把传统的二维成像技术和光谱技术进行有机地结合，以获得三维高光谱图像。高光谱图像光谱分辨率高，对于空间上任意一点能通过它所对应的连续且精细的光谱曲线来反演出该点所对应的物质，从而同时获取目标的空间属性和物质属性，已经被广泛应用于生物医学研究，研究范围涉及病变细胞检测、癌症诊断和外科手术中的病变区域识别等方面。高光谱成像技术与显微镜有效结合产生的显微高光谱成像技术具有光谱范围广、光谱分辨率高以及图谱合一的特点，能够从微观角度更丰富、更全面地获取研究对象的物理形貌信息和化学成分信息，实现对检测目标的定位、定性和定量描述。作为一种新型的、非接触式的光学诊断技术，显微高光谱成像技术通过光谱图像信息为临床医学和基础医学研究提供了一种有效的辅助诊断手段，具有巨大的发展潜力。然而，受限于高光谱图像的成像设备，高光谱成像系统无法同时实现高空间分辨率和高光谱分辨率，相对较低的空间分辨率无法满足亚细胞及分子水平的像素解混、分类、检测等应用需求，这使得显微高光谱图像的应用受到了限制。深入研究显微高光谱图像的数据特性，对高光谱图像进行空间分辨率的提升处理，是显微高光谱图像准确解译和广泛应用的重要前提。因而，如何对高光谱图像进行快速准确的超分辨处理，提升高光谱图像的空间分辨率的同时保持显微高光谱图像的光谱特性，使得研究目标在原始图像中的光谱可分离性经超分辨处理后仍然保持不变，以不影响高光谱图像的判读和分类等后续处理变得尤为重要。

超分辨重构(super-resolution reconstruction)的目标是从观测的一个或多个低分辨图像，获取高分辨图像。该问题是一类典型的病态问题。超分辨重构算法大致可分为三类，分别是：基于插值，基于重构，和基于学习的重构方法。其中，基于插值的算法具有原理简单，易于实现的优点。然而这类方法很难恢复出图像的细节信息，重构图像失真严重。基于重建的算法首先根据低分辨(LR)图像的成像过程，生成超分辨重建的约束条件，建立相应的数学模型，最后重建出高分辨(HR)图像，如凸投影法，迭代反投影法等。然而，当放大倍数较高时，仍然难以恢复出足够的高频信息。基于学习的重建算法主要建立低分辨和高分辨高光谱图像之间的映射关系，然后，根据映射关系进行重建，如基于稀疏表示和深度学习的方法。

随着深度学习的发展，基于深度学习的单幅图像超分辨技术成为了研究热点。SRCNN首先将深度学习用于彩色图像超分辨重构，使用CNN学习LR和HR之间的端到端映射，然后利用该映射关系重构出超分辨图像。有研究者对SRCNN做了改进，他们同时利用空间相邻像素和相邻波段之间的关系，使其适用于HSI的重构。随着残差学习策略的出现，网络变得更深，网络的表示性能也变得更强。VDSR算法建立输入和输出之间的残差连接，并采用更小的卷积核(3x3卷积)，这一策略被后来的研究者广泛采用。Tong使用密集跳跃连接,将不同层级的特征拼接起来，重构性能被进一步提升。基于残差学习，许多其他的变体网络，也被证明是有效的。然而，当下采样倍数较高时，重构的图像缺乏足够的边缘信息和梯度信息，往往过于平滑、模糊，视觉效果差，这是仅仅考虑像素差异导致的。相比于RGB图像，高光谱图像含有更大范围的地物信息，空间分辨率更低，因此，上述的下采样倍数较高时，重构结果过于平滑和模糊的问题，在高光谱图像里更加严重。