[发明专利]基于深度学习的动态超声乳腺结节实时分割与识别的方法

权利要求书

1.一种基于深度学习的动态超声乳腺结节实时分割和识别的方法，其特征在于，包括以下步骤：

(1)收集有结节的超声乳腺图像、视频以及有手术病理结果的病例数据；标记结节区域，生成掩模图像，构建结节静态分割、动态分割和良恶性识别的数据集；

(2)选择基础网络结构，使用反卷积上采样和跳层连接方式，构造静态图像结节分割网络；使用足量图像块训练批归一化层参数，在原始图像上训练静态图像结节分割模型；

构造静态图像结节分割网络的过程具体包括：选择EfficientNet-B4作为基础网络结构，在其最后1个卷积层之后连接1个3×3卷积层，调整输出特征通道数，然后经过反卷积将特征图上采样2倍，特征图通道数降为原来的1/4；从基础网络第1个输出特征图是原输入图像尺寸1/16的卷积层做跳层连接，在连接层之后使用3×3卷积调整输出通道数为16，最后使用反卷积进行4倍上采样，输出概率图是输入图像尺寸的1/4，最后对概率图进行4倍上采样，输出与输入图像一样尺寸的分割概率图；

(3)在静态图像结节分割网络基础上，输入图像序列，使用LSTM层预测中间帧结节概率，构造视频动态分割网络；调整视频样本训练频率，训练动态分割模型；

构造视频动态分割网络的过程具体包括：在静态图像结节分割网络的跳层连接之后的卷积层使用多个LSTM单元组成LSTM层，LSTM数量根据卷积层输出特征图尺寸确定，LSTM层之后添加3×3卷积层，卷积层输入是每一帧图像在LSTM层的输出，卷积层输出通道数是16，特征图尺寸保持不变，卷积层之后的结构与静态分割模型保持一致，构建视频动态分割网络；设置动态分割网络每次输入n帧图像序列，保存每一帧图像在LSTM层的输出特征图，连接所有帧的LSTM输出特征图作为下一层卷积层的输入，上采样层保持不变，其中间帧即第n/2帧为动态分割网络需要预测的视频帧，即输出概率图与第n/2帧图像的结节掩模图像求损失函数；

(4)使用基础网络构造良恶性识别网络结构，在乳腺结节良恶性识别数据集上根据结节区域输入图像和结节信息，训练良恶性识别模型；

构造良恶性识别网络结构的过程具体包括：修改基础网络最后的全连接层输出值为2，使用Sigmoid交叉熵损失函数，定义良性类别标签是0，恶性类别标签是1；使用静态图像结节分割模型参数初始化基础网络，全连接层随机初始化，结节良恶性识别网络构建完成；

(5)应用动态分割网络处理图像序列，实时输出结节位置信息；使用良恶性识别模型识别每帧结节良恶性，检查结束输出结节数和综合良恶性概率。

2.根据权利要求1所述的方法，其特征在于，所述步骤(1)包括：

(1.1)以病例为单位，收集静态超声乳腺结节图像数据、超声乳腺结节扫查的视频数据，以及乳腺结节良恶性数据；其中，良恶性结果必须以手术病理为标准，视频数据和无手术病理结果的病例不加入良恶性数据集；对于多结节情况，需要知道每个结节的病理结果；

(1.2)数据收集完成后，进行文件重命名，裁剪图像和视频上非超声区域；按照病灶形态及边界特征在图像和视频中勾画结节，以标记结节区域；结节勾画完成后，产生对应的结节掩模图像，结节区域内的像素值是255，其余区域像素值为0；在此基础上，构建结节静态分割、动态分割和良恶性识别的数据集。