[发明专利]多尺度自动聚焦超分辨率处理系统和方法

说明书

本发明公开了一种多尺度自动聚焦超分辨率处理系统，包括：感兴趣的区域ROI检测神经网络，用于接收低分辨率图像，利用最大池化残差块和输入尺度自由残差神经网络进行处理，输出ROI区域图像；超分辨率图像生成器G，用于接收ROI区域图像，从ROI区域图像的低分辨率图像估计出超分辨率图像，其中超分辨率图像生成器G首先从ROI区域图像的低分辨率图像估计出第一级超分辨率图像，超分辨率图像生成器G再从第一级超分辨率图像估计出第二级超分辨率图像；以及预训练的视觉几何组VGG和图像鉴别器D，用于根据真实有效的高分辨率图像找出超分辨率图像。

技术领域

本发明涉及图像处理领域，更具体而言，本发明涉及多尺度自动聚焦超分辨率处理系统和方法。

背景技术

超分辨率技术(Super-Resolution)是指从观测到的低分辨率图像重建出相应的高分辨率图像，在监控设备、卫星图像和医学影像等领域都有重要的应用价值。对医学图像进行超分辨率重建，可以在不增加高分辨率成像技术成本的基础上，降低对成像环境的要求，通过复原出的清晰医学影像，实现对病变细胞的精准探测，有助于医生对患者病情做出更好的诊断。

超分辨率生成对抗网络(GAN)是一项开创性的工作，能够在单一图像超分辨率(Single image super-resolution,SISR)中生成逼真的纹理。然而，医学图像的SISR仍然是一个非常具有挑战性的问题。现有基于生成对抗模型的超分辨率算法有两大缺点：(1)模型稳定性差，训练过程缓慢且不稳定；(2)超分辨率结果往往包含过多伪影、假影和噪声。

发明内容

本发明提出一种多尺度自动聚焦超分辨率处理系统和方法。构建多尺度金字塔结构，以Wasserstein GAN(WGAN)替代传统GAN模型实现超分辨率的同时，自动化聚焦临床上所关心的组织结构和病变，极大地稳定了深度学习网络的训练，提高了GAN模型的效率和准确性，可以成功应用于更广泛的临床应用。

根据本发明的一个实施例，提供一种多尺度自动聚焦超分辨率处理系统，包括：

感兴趣的区域ROI检测神经网络，用于接收低分辨率图像，利用最大池化残差块和输入尺度自由残差神经网络进行处理，输出ROI区域图像；

超分辨率图像生成器G，用于接收ROI区域图像，从ROI区域图像的低分辨率图像估计出超分辨率图像，其中超分辨率图像生成器G首先从ROI区域图像的低分辨率图像估计出第一级超分辨率图像，超分辨率图像生成器G再从第一级超分辨率图像估计出第二级超分辨率图像；以及

预训练的视觉几何组VGG和图像鉴别器D，用于根据真实有效的高分辨率图像找出超分辨率图像。

在本发明的一个实施例中，所述超分辨率图像生成器G使用超分辨率残差网络，且包括：残差神经网络、第一级超分辨率生成单元以及第二级超分辨率生成单元，ROI区域图像的低分辨率图像经过残差神经网络和第一级超分辨率生成单元处理之后形成第一级超分辨率图像，第二级超分辨率生成单元从第一级超分辨率图像估计出第二级超分辨率图像。

在本发明的一个实施例中，所述超分辨率图像生成器G包括第一级残差神经网络、第一级超分辨率生成单元、第二级残差神经网络以及第二级超分辨率生成单元，ROI区域图像的低分辨率图像经过第一级残差神经网络和第一级超分辨率生成单元处理之后形成第一级超分辨率图像，第二级残差神经网络和第二级超分辨率生成单元从第一级超分辨率图像估计出第二级超分辨率图像。

在本发明的一个实施例中，所述第一级超分辨率图像是2倍超分辨率图像，所述第二级超分辨率图像是4倍超分辨率图像，所述超分辨率图像生成器G的训练描述为：