[发明专利]一种基于V-Net的多模态脑肿瘤图像精细分割的方法

说明书

本发明公开了一种基于V‑Net的多模态脑肿瘤图像精细分割的方法，所述方法包括以下步骤：构建用于整个肿瘤图像分割的多模态2D网络；构建用于肿瘤核图像分割的多模态3D网络；构建用于增强肿瘤图像分割的另一多模态3D网络；根据所述多模态2D网络、以及两种多模态3D网络对输入的3D核磁共振图像进行分割，将整个肿瘤图像分割结果、肿瘤核图像分割结果、以及增强肿瘤图像分割结果相加得到最终的肿瘤分割结果。本发明采用三阶段分割，输入四模态的MRI图像，基于级联改良的V‑Net来准确提取整个肿瘤，肿瘤核和增强肿瘤三部分，并使用前期阶段的分割结果作为后期阶段的附加输入，提升了分割准确率。

技术领域

本发明涉及图像处理领域，尤其涉及一种基于V-Net(V形网络)的多模态脑肿瘤图像精细分割的方法。

背景技术

多模态MRI(核磁共振)图像是脑肿瘤评估和治疗的重要诊断工具。胶质瘤，包括：胶质母细胞瘤(HGG)和低级别胶质瘤(LGG)，是最常见的脑恶性肿瘤，其中胶质母细胞瘤致死率极高。由于组织学结构不同，胶质瘤可分为多种异质亚区，例如：水肿，坏死核心，增强和非增强肿瘤核心。肿瘤亚区的高准确率分割对于精确诊断和治疗非常重要，例如放疗。同时，由于肿瘤环境的异质性以及脑肿瘤的各种分级的不同外观，从MRI图像分割肿瘤结构非常困难。

就目前而言，相比自然图像，医学影像分辨率相对较低，而且医学造影代价较高，数据量相对较少。医学图像的标注门槛较高，只有经验丰富的资深医师才能对三维图像进行准确标注，因此，可用来进行计算机学研究的数据样本及标签非常稀少。数据量的匮乏是医学影像相对自然图像分割的难点之一。此外，医学影像，具有模态不定、维度较高的特点。以脑肿瘤MRI图像为例，用来进行图像分割的医学影像是大尺度三维图像，维度较高，而自然图像通常是二维的。脑MRI图像通常具有多模态，通常需对FLAIR(液体衰减反转恢复序列)、T1(纵向弛豫)、T1c(纵向弛豫增强)、T2(横向弛豫)四种模态进行综合处理才能实现脑肿瘤的精细分割，且不同分割问题的输入模态数量并不相同。

基于图论的分割方法现已成为传统机器学习分割方法中的主流。近年来，随着深度学习的普及，很多基于深度卷积网络的算法解决了图像分割问题。例如；FCN(全卷积神经网络)、SegNet^[1]、U-Net(U形网络)、V-Net(V形网络)等。V-Net已成功应用于许多生物医学图像任务，并在语义分割上表现出良好的表现。

目前机器学习的分割方法各有局限性，如基于图论的分割方法无法处理类之间相互很接近、边界不明显的数据，并且受随机噪声的影响很大。而深度学习方法大多针对二维自然图像，并且在三维医学图像数据较少的情况下，深度网络却需要大量的数据进行训练。

发明内容

本发明提供了一种基于V-Net的多模态脑肿瘤图像精细分割的方法，本发明采用三阶段分割，输入四模态的MRI图像，基于级联改良的V-Net来准确提取整个肿瘤(WholeTumor，WT)，肿瘤核(Tumor Core，TC)和增强肿瘤(Enhancing Tumor，ET)三部分，并使用前期阶段的分割结果作为后期阶段的附加输入，提升了分割准确率，详见下文描述：

一种基于V-Net的多模态脑肿瘤图像精细分割的方法，所述方法包括以下步骤：

构建用于整个肿瘤图像分割的多模态2D网络；构建用于肿瘤核图像分割的多模态3D网络；构建用于增强肿瘤图像分割的另一多模态3D网络；

根据所述多模态2D网络、以及两种多模态3D网络对输入的3D核磁共振图像进行分割，将整个肿瘤图像分割结果、肿瘤核图像分割结果、以及增强肿瘤图像分割结果相加得到最终的肿瘤分割结果。

其中，所述多模态2D网络包括：

三个二维的V-Net结构，每个结构依次对应于3D核磁共振图像的轴向、矢向、以及冠向的视图；