[发明专利]一种乳腺超声造影视频中病灶区形态自动标注方法

权利要求书

1.一种乳腺超声造影视频中病灶区形态自动标注方法，采用了卷积神经网络架构，实现自动提取超声造影视频中病灶形态特征参数信息完成形态识别分类，对病例数据进行病灶标注，步骤如下：

S1，构建乳腺超声造影多标签数据集，以医院提供的乳腺超声视频数据以帧为单位将每个病例中超声造影视频处理为连续图像，使用单独文件夹存放每个病例的超声造影帧序列图像；

S2，将步骤S1整理好的数据进行预处理，使用边缘增强的各向异性扩散去噪算法进行图像去燥处理，使得数据集去除超声图像斑点噪声，保持超声图像中的细节特征及边缘特征；

S3,将步骤S2中去燥的数据的每个病例文件存放地址与对应医生记录的每个病例的病灶形态特征文本作为一个样本保存为json文件，因每个超声病例视频都包含上述形态类型，因此需要将标签制作为多标签进行类别标记；

S4,将步骤S3中训练数据集每个像素的3个通道都先减去127.5后除以128得到归一化后的超声造影视频序像素值；

S5,为了利用端到端的分类模型完成形态识别，设计了3D网络,所述3D网络使用残差网络resnet50结合C3D网络作为基础训练网络，包括8个模块，每个模块包括卷积层，卷积核大小为:3×3×3，步长为:1×1×1；使用迁移自然图像分类任务将残差网络resnet50预训练后，将步骤S4的样本传入网络结构中进行网络模型权重参数的计算，详细计算步骤如下所示；

S6,网络的输入为16张大小为224*224的超声造影连续帧，根据是否为第一个模块，对输入数据或者上层网络的特征图feature map使用C3D网络进行样本时空特征提取；

S7,使用预训练好的残差网络resnet50，根据是否为第一个模块，接收输入数据或者上层网络的特征图feature map，进行空间特征信息提取，平均所有featuremap的结果后作为该层的整个空间特征残差块；同时根据是否为第一个模块，使用3*1*1的一维时间卷积对输入数据或者上层网络的特征图feature map进行时间序列特征提取；

S8,在3D网络的8个模块中，在每个模块中都分别融合了空间特征信息和时间序列特征信息以及时空特征信息，具体为：将C3D网络中每个模块输出的特征都加上由S7中提取的特征计算得到的时间和空间feature map的残差块，来作为下一个模块的输入，计算公式如式1所示，其中Xt表示网络模块单元的输入，Xt+1表示该网络模块单元的输出，S(X_t)表示空间特征残差块，T(X_t)表示时间特征残差块，ST(X_t)表示C3D网络提取的时空特征；

X_t+1＝S(X_t)+T(X_t)+ST(X_t) (1)

S9,在网络最后添加全连接层输出4096维的描述特征，然后接着做L2正则化,使用SIGMOD函数对每个便签都进行判别，最终输出每个超声造影视频数据中病灶每个形态特征的预测结果；

S10,将预测结果与医生记录的真实结果进行比较，使用式(2)对每个标签进行计算求评均作为网络识别准确度，其中TP、TN、FP、FN分别为预测的真阳性、真阴性、假阳性、假阴性数目；

S11,使用BCEloss作为损失函数进行训练约束，重复S6-S10训练该网络至loss收敛保存该模型；

S12,使用数据集中验证部分输入训练好的模型权重中，得到自动识别结果及准确率。

2.根据权利要求1所述的乳腺超声造影视频中病灶区形态自动标注方法，其特征在于：所述步骤S3中的病灶形态特征文本包括如下6种类型：增强强度、增强时相、增强顺序、增强均匀、增强后形态规则、蟹足状，每个形态类型都有一个值域标签，真实值均由2名高年资超声医师评价乳腺病灶的超声造影特征得来，这些特征都是很重要的病灶形态描述信息，在治疗过程中可观察其治疗前后的变化辅助病情观测。

3.根据权利要求1所述的乳腺超声造影视频中病灶区形态自动标注方法，其特征在于：所述的步骤S3中的标签类别标记是使用独热编码方式将每个类型中的标签属性值域中的有设置为1，无该属性则设置为0，并将该数据集按6：2：2分为训练集，测试集和验证集3部分。