[发明专利]基于多切片CT图像的肺结节分类和病灶定位方法和系统

摘要

本发明属于计算机视觉和机器学习领域，具体为一种基于2D深度神经网络和多切片CT图像的肺结节良恶性分类和病灶定位方法。本发明通过多切片的CT图像作为神经网络的输入来使得网络学习到同一结节的不同尺度和不同形态的特征，从而增强模型的鲁棒性和泛化能力。其次，解决了类激活映射不能对图像中感兴趣的细粒度区域进行准确定位的问题，本发明通过对网络最后一层的所有特征图分别加全链接层来实现细粒度的定位，即使得最终的特征之间的相互影响减弱，再将全链接层得到的特征向量与类似于U‑Net结构中的低维特征结合，实现更精确的恶性病灶的定位，提高分类的准确率。

主权项

1.一种基于CT图像的肺结节分类和病灶定位方法，其特征在于，采用2D深度神经网络，将肺结节的多切片的CT图像作为神经网络的输入，使得神经网络学习到同一结节的不同尺度和不同形态的特征；通过对神经网络最后一层的所有特征图分别加全链接层，实现细粒度的定位，再将全链接层得到的特征向量与类似于U‑Net结构中的低维特征结合，实现更精确的恶性病灶的定位；具体步骤为：(1)样本预处理样本取自于512×512的临床CT图像；结节中心(x,y)及半径(r)由临床医生标注，其中，(a)对每个结节的中心切片提取大小为(2r×2r)的正方形区域为该切片的样本；(b)对同一结节的其他2n个切片(中心切片向上、向下分别取n个切片)做(a)处理；(c)得到该结节的样本；训练/测试集表示如下：Vtrain/test＝{x1,x2,x3,…,xn}xi为一个大小为(2n+1)×2r×2r的结节样本，训练/测试集样本个数为n；(2)搭建基于U‑Net的网络模型网络模型包括3个降采样层和3个上采样层以及3个跳链接层，该网络的输入通道数为2n+1；其中，网络开始为两个3×3卷积层；每个降采样层包括：1个MaxPooling层和两个3×3卷积层；每个上采样层包括：1个上采样层和两个3×3卷积层，上采样层为双线性插值；跳链接将下采样过程中的特征图与上采样同分辨率的特征图在通道维度拼接；网络模型包括3个降采样层和3个上采样层以及3个跳链接层，该网络的输入通道数为2n+1；其中，网络开始为两个3×3卷积层；每个降采样层包括：1个MaxPooling层和两个3×3卷积层；每个上采样层包括：1个上采样层和两个3×3卷积层，上采样层为双线性插值；跳链接将下采样过程中的特征图与上采样同分辨率的特征图在通道维度拼接；“Residual Blocks”包含两个残差模块，每个残差模块由两个3×3卷积层组成，3×3卷积层后接Batch Normalization和ReLU激活函数；“FC”为全链接层；(3)提取高层语义特征将第3降采样层特征图通过全局最大池化(GMP)转化为1维向量；(4)计算软激活值将上采样的输出特征图作为一个残差网络的输入，残差网络的倒数第2层为均值池化层，后接256个子全链接层，每个均值池化后的特征图接一个全链接，各子全链接层相互独立；(5)高层语义特征增强特征向量GMP得到的1维向量与AvgPool得到的1维向量相加，作为最终全链接层的输入；(6)软激活值映射得到训练好的模型后，将任一结节样本输入到神经网络，将其softmax层的参数与最后一层特征图加权求和，得到软激活映射图；(7)高层语义特征增强的软激活值映射将高层语义特征增强特征向量作为模型最终的全链接层的输入。