[发明专利]一种基于生成对抗网络的模糊视网膜眼底图像增强方法

摘要

本发明涉及一种基于生成对抗网络的模糊视网膜眼底图像增强方法，属于图像增强技术领域。包括如下步骤：步骤一：构建训练集和测试集；步骤二：分别对步骤一构建的训练集和测试集中的眼底图像进行预处理；步骤三：构建用于增强的生成对抗网络模型；步骤四：利用训练好的生成器对测试集模糊视网膜眼底图像进行增强，得到最终的增强结果。所述方法对比现有眼底图像增强方法，增强结果平滑无噪声，色彩还原度高，有效地改善了传统方法颜色偏移、对比度过高、颜色失真、噪声放大的问题；避免设计复杂的先验模型，且处理速度更快；很好地还原了视网膜眼底图像血管分布等细节，生成结果真实可靠。

主权项

1.一种基于生成对抗网络的模糊视网膜眼底图像增强方法，其特征在于：包括如下步骤：步骤一：构建训练集和测试集；其中，训练集及测试集中的图像是临床采集的视网膜眼底图像；训练集中包含白内障手术的术前图像和术后拍摄的眼底图像，图像为配对的视网膜眼底图像，即每张模糊图像均有对应的清晰图像作为参照；测试集中的图像是因成像过程缺陷或眼部病变造成的模糊视网膜眼底图像，且测试集不需要参照图像；术前图像以及术后图像称为手术前后图像对；构建训练集过程中，对图像进行筛选，剔除过度模糊、病变严重、过暗的图像对；步骤二：分别对步骤一构建的训练集和测试集中的眼底图像进行预处理，具体包括如下子步骤：步骤2.1对于训练集中的手术前后图像对进行配准，保证手术前后图像对的视盘位置与血管分布逐像素对应，输出配准后的手术前后图像；其中，优选的配准方法为基于Harris‑PIIFD特征点的眼底图像配准方法，该配准方法以术后图像为基准配准术前图像，包括如下子步骤：步骤2.1A利用Harris检测器来检测手术前后图像对包含的特征角点，并通过向中心缩进的方式剔除视网膜与黑色背景边界处的背景点；步骤2.1B采用平均平方梯度的方法，为步骤2.1A中每一个特征角点指派主方向；步骤2.1C以每一个特征角点为中心，提取该特征角点邻域内的PIIFD特征向量；步骤2.1D采用Best‑Bin‑First算法对手术前后图像对中每一个特征角点提取的PIIFD特征向量进行匹配，术后图像中特征角点为基准点，术前图像对应的特征角点为匹配点；步骤2.1E对于步骤2.1D中所有匹配点，其中存在匹配不正确的点，称为误匹配点，通过特征角点的主方向以及几何分布，检测出误匹配点并剔除；步骤2.1F对步骤2.1E剔除误匹配点后的匹配点位置进行微调，具体为：搜索匹配点周围M*M像素范围内所有特征角点，比较基准点与匹配点的PIIFD特征向量，选取匹配度最高的点代替原匹配点；步骤2.1G根据匹配点个数选择对术后图像进行几何变换，输出配准后的手术前后图像，具体为：2.1GA若只存在两对匹配点，则对术后图像采用线性保角变换；2.1GB若匹配点对的个数在[3,6)范围内，则对术后图像采用仿射变换；2.1GC若匹配点对的个数大于等于6，则对术后图像采用二次多项式变换；其中，匹配点对指匹配点与对应基准点组成的点对；至此，配准后的手术前后眼底图像视盘以及血管在图像中的位置逐像素对应；步骤2.1的操作原因是为了克服由于拍摄角度的因素导致前后图像视盘以及血管分布的差异性；步骤2.2采用阈值法提取配准后的手术前后图像对的ROI区域，再截取重叠区域，得到截取重叠区域后的图像对，具体包括如下子步骤：步骤2.2A提取手术前后图像对中的红色通道并对红色通道选取阈值T进行阈值分割处理；步骤2.2B应用数学形态学算子开操作、闭操作以及腐蚀操作依次作用于步骤2.2A阈值分割处理后的红色通道；步骤2.2C判断经过步骤2.2B处理后的阈值分割图是否存在黑色孔洞，若不存在，则输出二值化后的ROI区域；若存在则进行孔洞填充，再输出二值化后ROI区域；步骤2.2C的操作原因是部分眼底图像亮度不均、亮度较低，经步骤2.2B处理可能会存在黑色孔洞；至此，经步骤2.2A到步骤2.2C完成了采用阈值法提取配准后的手术前后图像对的ROI区域操作；步骤2.2D对配准后提取的二值化后ROI区域进行与操作，得到重叠区域模板，将重叠区域模板与配准后的结果相乘，得到截取重叠区域后的图像对；步骤2.3统一步骤2.2D中的重叠区域以及测试集模糊眼底图像边框，并调整训练集中手术前后图像对以及测试集模糊眼底图像的分辨率到2^K*2^K像素，具体为：对于截取重叠区域后的图像以及测试集中的模糊眼底图像，利用步骤2.2A到步骤2.2C提取其ROI区域，再将多余的边框去除，留取ROI区域边界为图像边界，更好的保留原图的信息，将图像分辨率调整至为2^K*2^K像素；步骤2.4当训练集中的手术前后图像对小于N时，对训练集中的手术前后图像对进行旋转、翻转以扩充训练集；步骤三：构建用于增强的生成对抗网络模型；其中，该生成对抗网络模型，简称模型，包括生成器、判别器以及损失函数，步骤三包括如下子步骤：步骤3.1采取U‑Net结构构建生成器；进行K次降采样，将2^K*2^K*3像素降采样至1*1*2^K，再进行K次升采样，还原至2^K*2^K*3，并且将卷积层连接至对应的反卷积层；卷积核大小为S*S，步长为2，降采样通道数在前三层分别为2^K‑3、2^K‑2、2^K‑1，第4层到第K层通道数为2^K，升采样通道数与降采样相对应；其中，S取值为[3,5]中的整数；卷积层与反卷积层每层包括卷积、正则化以及激活函数；激活函数在卷积层为负斜率为L的LeakyReLU激活函数；反卷积层激活函数为ReLU；最外层激活函数为双曲正切函数；生成器的输入为手术前模糊视网膜眼底图像，输出为增强图像，该模糊眼底图像通过生成器从而得到增强；生成器采用U‑Net结构的原因是为了保证输入眼底图的视盘，血管等信息可以保留；U‑Net结构中将输入层与对应的输出层连接；步骤3.2采用PatchGAN结构构建判别器；共P层卷积，前P‑2层进行步长为2的降采样，第P‑1层与第P层卷积步长为1；卷积核尺寸为S*S，第一层到第三层通道数分别为2^K‑3、2^K‑2、2^K‑1，第四层到第P‑1层通道数为2^K，最后一层通道数为1；前P‑1层卷积层包括卷积、正则化以及激活函数，激活函数为负斜率为L的LeakyReLU，最后一层卷积后直接输出；判别器是用来分辨输入的图像是否为真实眼底图像，通过训练判别器使之可以成功判别输入真假；步骤3.3构建网络的损失函数；损失函数包括手术后清晰眼底图与增强后输出的L1损失函数，以及生成对抗损失；其中，L1损失函数，用表示，即生成图像与真实图像的约束；的计算公式如(1)所示：其中，‖y‑G(x)‖₁代表求清晰眼底图像与生成眼底图像的1范数；代表清晰眼底图像；G(x)为生成眼底图像；生成对抗损失采用LSGAN中最小平方损失函数，用表示；其中，G与D分别表示生成器与判别器；计算公式如(2)所示：其中，代表模糊眼底图像，生成器G为通过训练使得生成眼底图像G(x)趋近于真实的清晰眼底图像y；判别器D(X)为给出输入判别器图像X为真的概率d，d∈[0,1]；其中，X为y或G(x)；当X为生成眼底图像G(x)时，d接近于0，当X为真实的清晰眼底图像y时，d接近于1；最终目标函数，即构建的损失函数如公式(3)所示：其中，λ为损失的权重，max_D表示选择令结果最大的判别器D；min_G表示选择令结果最小的生成器G；G^*表示最终选择的生成器；生成对抗损失的目的是生成逼真的清晰眼底图像，L1损失的目的是保留原图视盘血管为主的眼底结构信息；步骤3.4模型训练，更新参数并保存，包括如下子步骤：步骤3.4A将模糊眼底图像输入生成器G，前向传播生成增强后眼底图像；步骤3.4B将增强后图像与清晰眼底图像分别输入判别器D以计算并且计算将增强后图像与清晰眼底图像的步骤3.4C进行反向传播与参数优化，采用判别器生成器交替优化的方式，对判别器进行一次优化，再对生成器进行一次优化；其中，判别器和生成器优化的学习率均为Q，Q的初始取值的范围为[e^‑4,e^‑3]；步骤3.4D重复步骤3.4A～步骤3.4C，记录步骤3.4B输出的和通过公式(3)计算损失函数值，所有训练集中的手术前后图像遍历一次为一个Epoch，根据记录的损失函数值绘制不同Epoch损失曲线，当损失曲线收敛平稳后，即当训练达到Epoch等于kk时，对学习率Q进行调整，设为Q*10^‑2，以对模型进行微调；步骤3.4E保存训练好的生成器；步骤四：利用训练好的生成器对测试集模糊视网膜眼底图像进行增强，得到最终的增强结果。