[发明专利]一种基于多任务学习的眼底视盘和渗出联合分割方法

说明书

本发明提出一种基于多任务学习的眼底视盘和渗出联合分割方法，包括如下步骤：步骤(1)、获取眼底图像，进行数据预处理；步骤(2)、对预处理后的数据进行扩增；步骤(3)、构建眼底视盘和渗出物联合分割的深度学习网络，将扩增后的眼底图像输入网络中进行模型训练；步骤(4)、采用大津法对眼底视盘和渗出物的分割结果进行阈值分割后处理，获得最终的联合分割结果。

技术领域

本发明涉及深度学习和图像处理领域，尤其是一种基于多任务学习的眼底视盘和渗出联合分割方法。

背景技术

视网膜被称为是中枢神经系统(CNS)的延伸，其解剖结构的形态学变化具有巨大的诊断价值，定量分析视网膜解剖结构，例如视盘(OD)，视杯(OC)，血管以及其他病理特征(如渗出和出血)是开发自动诊断或筛查系统的第一步，也是必不可少的步骤。深度卷积神经网络(DCNN)最近已在视网膜图像处理中得到应用。在眼底图像的视盘分割和渗出物分割任务中，U-net网络及其变种应用最为广泛，此网络在医学图像处理中取得许多重大突破。但目前眼底视盘和眼底渗出物的分割依然采用单任务处理方式，分别分割出眼底图像中的视盘和渗出物，没有利用眼底视盘和渗出之间的先验知识，眼底视盘和渗出物分割的精确度依然没有达到辅助专家医疗的水平。

发明内容

本发明的目的是针对眼底视盘分割和渗出物分割存在的分割精确率不足，提出一种基于多任务学习的眼底视盘和渗出联合分割方法；充分利用了视盘和渗出物之间的颜色相似性和纹理相似性，提高视盘和渗出物的分割精确率。

本发明的技术方案为：一种基于多任务学习的眼底视盘和渗出联合分割方法，包括如下步骤：

步骤(1)、获取眼底图像，进行数据预处理；

步骤(2)、对预处理后的数据进行扩增；

步骤(3)、构建眼底视盘和渗出物联合分割的深度学习网络，将扩增后的眼底图像输入网络中进行模型训练；步骤(4)、采用大津法对视盘和渗出分割结果进行阈值分割后处理。

进一步的，所述步骤(1)数据预处理，首先对原始输入图像计算均值和方差；其次将图像减去图像均值，除以每张图像的方差，对输入图像进行归一化。

进一步的，所述步骤(2)数据扩增是利用预处理后的图像进行数据扩增，对图像随机进行旋转或尺寸变化，达到数据扩增的目的。

进一步的，所述步骤(3)具体包括：

A.构建眼底视盘和渗出物联合分割的深度学习网络

如图3所示，为U-net网络的结构图，在U-net的基础上，将解码部分每次上采样的输出都与最后的网络输出相连接，获得一种新的深度学习网络，称之为S-net网络，图4为S-net网络的结构图。S-net具有编码器和解码器，编码器结构与U-net的编码器结构相同，而解码器结构与U-net的解码器结构不同，其上采样层的每个输出都与最后一个上采样层的输出串联在一起。

基于S-net构建多任务分割网络W-net，如图5为W-net的网络结构图。W-net的编码器结构和S-net的编码器结构相同，解码器结构中，为第二个任务添加了相同的解码器结构，两个解码器共享同一个编码器，分别生成眼底视盘和眼底渗出物的分割结果；

在W-net的编码器结构中，两个具有3×3卷积核的卷积层与一个下采样层构成一个编码模块，图像经过3个编码模块后，再经过两个具有3×3卷积核的卷积层输出特征图给解码器。

W-net的两个解码器结构完全相同，在W-net的解码器结构中，一个上采样层和两个具有3×3卷积核的卷积层构成一个解码模块，图像在经过3次解码模块后，再经过一个卷积层输出最终的分割结果。在每次上采样之后，将编码器结构中相同大小的特征图与解码器对应特征图相结合，作为下一次卷积的输入；每个上采样层的输出都与最后一个上采样层的输出串联在一起。

B.网络模型训练