[发明专利]一种基于深度学习的CT序列图像肝脏肿瘤分割方法

权利要求书

1.一种基于深度学习的CT序列图像肝脏肿瘤分割方法，其特征在于，包括以下步骤：

(1)建立包含原始CT序列图像和肝脏区域手动分割结果的原始训练数据集A和B；；

(2)构建基于空洞空间金字塔卷积的U型2D卷积网络，记作ASPP-UNet，具体包括：

(2-a)采用U形网络作为主干网络，该主干网络包含三个编码层、两个跳跃连接、一个空洞空间金字塔卷积层、三个解码层和和一个1×1卷积层，其中：第一个编码层的输出不仅作为第二个编码层的输入，同时还通过第一个跳跃连接与第二个解码层相连作为该解码层的输入；第二个编码层的输出不仅作为第三个编码层的输入，同时还通过第二个跳跃连接与第一个解码层相连作为该解码层的输入；第三个编码层的输出作为空洞空间金字塔卷积层的输入，且空洞空间金字塔卷积层的输出作为第一个解码层的输入；此外，上一个解码层的输出均作为下一个解码层的输入；为了得到分割结果，将最后一个解码层与一个1×1卷积层相连，其中最后一个解码层的输出作为1×1卷积层的输入，1×1卷积层的输出为各像素属于目标的概率，通过引入阈值ε₁，即可得到分割结果；

(2-b)在步骤(2-a)所述的主干网络中，每个编码层均由两个2D卷积模块连接组成，即2D双卷积模块，其中每个2D卷积模块包含一个大小为3×3的卷积层，一个批归一化层和一个Relu激活层；为了对图像进行下采样，第二和第三个编码层中，2D双卷积模块的末尾均增加1个大小为2×2的最大池化层；

(2-c)在步骤(2-a)所述的主干网络中，空洞空间金字塔卷积层具体包括：

采用n个具有不同采样半径{r_i|i＝1,2,...,n}的3×3卷积核分别对输入特征图进行空洞卷积，并将空洞卷积结果进行拼接作为该空洞空间金字塔卷积层的输出，其中n为大于1的自然数；为了扩大卷积核的感受野、获取多尺度的上下文信息，采样半径设置为r_i＝k×i+1，其中k为大于0的自然数；

(2-d)在步骤(2-a)所述的主干网络中，第一和第二个解码层均由一个步骤(2-b)所述的2D双卷积模块、一个2×2反卷积层和一个拼接操作连接组成，第三个解码层仅由一个步骤(2-b)所述的2D双卷积模块组成，其中：第一个解码层中2D双卷积模块的输入为空洞空间金字塔卷积层的输出，此后，下一个解码层中2D双卷积模块的输入均为上一个解码层的输出；第一个解码层中的拼接操作用于拼接该解码层中反卷积结果和第二个编码层的输出，拼接结果作为该解码层的输出；第二个解码层中的拼接操作用于拼接该解码层中反卷积结果和第一个编码层的输出，拼接结果作为该解码层的输出；

(3)构建轻量级的3D卷积网络，记作LW-3DNet，该网络涉及三个输入和一个输出，网络具体结构包括：首先采用三个3D双卷积模块，分别对三个输入进行卷积，然后采用拼接操作将卷积结果进行拼接，并采用一个3D双卷积模块对拼接结果进行卷积，得到特征图F，最后，采用一个1×1×1卷积层对特征图F进行卷积，1×1×1卷积层的输出为各体素属于目标的概率，通过引入阈值ε₂，即可得到三维分割结果；步骤(3)中所述的3D双卷积模块均由两个3D卷积模块连接组成，其中每个3D卷积模块包含一个大小为3×3×3的卷积层，一个批归一化层和一个Relu激活层；

(4)利用ASPP-UNet，训练多个可用于分割不同视图方向二维切片的网络模型，具体步骤包括：对于训练数据集A中的每一个CT序列，首先分别从矢状面、冠状面和横切面三个视图方向重构二维切片，获取不同视图方向的二维切片，分别记作和然后，将训练数据集中获取的矢状面视图方向的二维切片及其对应的二维切片手动分割结果输入ASPP-UNet网络进行训练，获取可用于分割矢状面二维切片的网络模型ASPP-UNet^X，将训练数据集中获取的冠状面视图方向的二维切片及其对应的二维切片手动分割结果输入ASPP-UNet网络进行训练，获取可用于分割冠状面二维切片的网络模型ASPP-UNet^Y，将训练数据集中获取的横切面视图方向的二维切片及其对应的二维切片手动分割结果输入ASPP-UNet网络进行训练，获取可用于分割横切面二维切片的网络模型ASPP-UNet^Z；

(5)利用LW-3DNet，训练一个可用于融合不同视图方向分割结果的网络模型，具体包括：

(5-a)构建LW-3DNet网络的训练数据集C，具体包括：首先，对于原始训练数据集B中的每一个CT序列，分别从矢状面、冠状面和横切面三个视图方向重构二维切片，获取不同视图方向的二维切片，分别记作和然后，分别将和输入至已训练好的网络模型ASPP-UNet^X、ASPP-UNet^Y和ASPP-UNet^Z中进行测试，得到不同视图方向的二维切片分割结果S^X、S^Y和S^Z；最后，将网络预测的S^X、S^Y和S^Z作为LW-3DNet网络训练的输入，训练数据集B中CT序列三维手动分割结果作为标签，构建LW-3DNet网络的训练数据集C；

(5-b)将训练数据集C输入LW-3Dnet网络进行训练，得到训练好的网络模型LW-3DNet^F；

(6)对于待检测的CT序列T，首先分别从矢状面、冠状面和横切面三个视图方向进行二维切片重构，获取CT序列图像不同视图方向的二维切片，分别记作T^X、T^Y和T^Z；然后，分别将T^X、T^Y和T^Z输入到已训练好的网络模型ASPP-UNet^X、ASPP-UNet^Y和ASPP-UNet^Z中进行测试，得到不同视图方向的二维切片分割结果F^X、F^Y和F^Z；最后，将F^X、F^Y和F^Z输入LW-3DNetF网络模型进行测试，得到CT序列T中各体素属于目标的概率P^obj，以及肝脏肿瘤三维分割结果S^obj；

(7)构建图割能量函数，进一步优化分割结果，得到精确的肝脏肿瘤分割结果，具体包括：

(7-a)对于待检测的CT序列T，构建如下图割能量函数：

其中，v表示CT序列图像T中的体素，L_v表示体素v的邻域体素集，u表示属于邻域体素集L_v中的体素，R(v)和B(v,u)分别表示图割能量函数中的区域惩罚项和边界惩罚项，α为权重参数，取值为0～1之间的常数；区域惩罚项主要用于对单个体素分配标签为“目标”或“背景”进行惩罚，计算公式如下：

R(v)＝β·R₁(v)+(1-β)·R₂(v)

其中，P^obj(v)表示CT序列T中体素v属于肝脏肿瘤的概率，由步骤(6)所述方式获取，体素v属于“目标”即“肝脏肿瘤”的概率越大，对该体素分配为“目标”的惩罚越小，且对该体素分配为“背景”的惩罚越大，β为权重参数，取值为0～1之间的常数，g_v表示CT序列T中体素v的灰度值，和γ分别表示根据步骤(6)所述方式获取的分割结果S^obj计算得到的肝脏肿瘤区域的灰度均值和标准差，计算公式如下：

其中，R_o表示分割结果S^obj中的肝脏肿瘤区域体素集，m表示属于体素集R_o中的体素，g_m表示体素m的灰度值，N_o表示体素集R_o中的体素数目；边界项B(v,u)用于对相邻体素间的灰度不一致进行惩罚，计算公式如下：

其中

D(v,u)表示求体素v和u的欧氏距离，N₁表示CT序列T中的体素数目，g_v和g_u分别表示体素v和u的灰度值，|g_v-g_u|表示求g_v与g_u差的绝对值；

(7-b)采用最大流/最小割算法最小化能量函数E(T)，即可得到精确的肝脏肿瘤分割结果。