[发明专利]基于多切片CT图像的肺结节分类和病灶定位方法和系统

权利要求书

1.一种基于CT图像的肺结节分类和病灶定位方法，其特征在于，采用2D深度神经网络，将肺结节的多切片的CT图像作为神经网络的输入，使得神经网络学习到同一结节的不同尺度和不同形态的特征；通过对神经网络最后一层的所有特征图分别加全链接层，实现细粒度的定位，再将全链接层得到的特征向量与U-Net结构中的低维特征结合，实现更精确的恶性病灶的定位；具体步骤为：

(1)样本预处理

样本取自于512×512的临床CT图像；结节中心(x,y)及半径(r)由临床医生标注，其中，(a)对每个结节的中心切片提取大小为(2r×2r)的正方形区域为该切片的样本；(b)对同一结节的中心切片向上、向下分别取n个切片得到其他2n个切片，对其他2n个切片做(a)处理；(c)得到该结节的样本；训练/测试集表示如下：

V_train/test＝{x₁，x₂，x₃，...，x_n}

x_i为一个大小为(2n+1)×2r×2r的结节样本，训练/测试集样本个数为n；

(2)搭建基于U-Net的网络模型

网络模型包括3个降采样层和3个上采样层以及3个跳链接层，该网络的输入通道数为2n+1；其中，网络开始为两个3×3卷积层；每个降采样层包括：1个MaxPooling层和两个3×3卷积层；每个上采样层包括：1个上采样层和两个3×3卷积层，上采样层为双线性插值；跳链接将下采样过程中的特征图与上采样同分辨率的特征图在通道维度拼接；“ResidualBlocks”包含两个残差模块，每个残差模块由两个3×3卷积层组成，3×3卷积层后接BatchNormalization和ReLU激活函数；“FC”为全链接层；

(3)提取高层语义特征

将第3降采样层特征图通过全局最大池化GMP转化为1维向量；

(4)计算软激活值

将上采样的输出特征图作为一个残差网络的输入，残差网络的倒数第2层为均值池化层，即AvgPool层，后接256个子全链接层，每个均值池化后的特征图接一个全链接，各子全链接层相互独立；

所述的计算软激活值的具体方法为：

(a)上采样结果输入到一个包含两个残差模块的网络进行特征提取；

(b)残差网络后接一个AvgPool层，kernel_size＝5,stride＝2,padding＝0，经AvgPool后，得到256个大小为6×6的特征图即微特征；

(c)每个微特征后接一个只包含1个神经元的全链接层，即每个微特征被映射为一个值；

(5)高层语义特征增强特征向量

GMP得到的1维向量与AvgPool得到的1维向量相加，作为最终全链接层的输入；

(6)软激活值映射

得到训练好的模型后，将任一结节样本输入到神经网络，将其softmax层的参数与最后一层特征图加权求和，得到软激活映射图；

所述的软激活值映射的具体方法为：

(a)模型通过梯度反向传播求解，目标函数为交叉熵损失函数，表示如下：

其中，y为样本的真实标签，为模型预测标签；

(b)测试图像通过训练好的神经网络进行前向传播，最终全链接层的输出经过softmax层，softmax层的参数与残差网络输出的特征图加权求和：

SAM＝ω₁m₁+ω₂m₂+…+ω₂₅₆m₂₅₆

ω_i为软激活值，m_i为残差网络最后一个卷积层的特征图，SAM表示得到的软激活值映射图；

(7)高层语义特征增强的软激活值映射

将高层语义特征增强特征向量作为模型最终的全链接层的输入；

所述的高层语义特征增强的软激活值映射的具体方法为：

测试图像通过训练好的神经网络进行前向传播，

HESAM＝ω′₁m₁+ω′₂m₂+…+ω′₂₅₆m₂₅₆

ω′_i为高层语义特征增强特征向量，m_i为残差网络最后一个卷积层的特征图，HESAM表示高层语义特征增强的软激活值映射图。