[发明专利]基于特征融合和迁移学习的甲状腺结节超声图像分类方法

权利要求书

1.基于特征融合和迁移学习的甲状腺结节超声图像分类方法，其特征在于，所述方法包括以下步骤：

(1)数据集预处理：采集甲状腺超声波影像作为原始图像数据集并进行预处理，首选从原始图像数据集提取出感兴趣区域并进行人工标记去除和降噪，并利用加权自适应伽马校正；

(2)基于ResNet的迁移学习：将预处理后的图像数据进行图像增强，对图像增强后的样本数据集进行样本拓展，并利用拓展样本对预训练过的ResNet18卷积神经网络进行迁移学习微调；

(3)融合多尺度特征的甲状腺结节分类：将自适应阈值LTP算子提取出的丰富纹理特征作为辅助输入，与超声图像通过多层卷积自动提取出的深层特征进行多尺度特征融合，共同对神经网络进行二次微调训练，再对图像进行分类。

2.根据权利要求1所述的基于特征融合和迁移学习的甲状腺结节超声图像分类方法，其特征在于，所述步骤(1)中从原始图像数据集中良恶性结节病灶作为感兴趣区域(ROI)分离出来，具体步骤如下：

1)根据甲状腺结节标记框位置得出标记框的最左上角坐标值和最右下角坐标值(x_i,y_i)、(x_j,y_j)；

2)计算出标记框中心点坐标，记为(x_c,y_c)，其中x_c为x_i和x_j的平均值，y_c为y_i和y_j的平均值；

3)计算出结节区域的长和宽，取最大值，即max(x_j-x_i,y_i-y_j)，记为w；

4)基于左上角(x_c–w/2,y_c+w/2)，右上角(x_c+w/2,y_c+w/2)，左下角(x_c–w/2,y_c–w/2)，右下角(x_c+w/2,y_c–w/2)确定坐标区域截取结节子图；如果截取框超出原成像区域，则以邻近像素值填充。

3.根据权利要求2所述的基于特征融合和迁移学习的甲状腺结节超声图像分类方法，其特征在于，所述步骤(1)中将人工标记去除和降噪，首先将良恶性结节病灶区域进行亮白色标记；再将图像中的人工标记去除并复原被遮挡的部分，具体步骤如下：

1)计算出图像中所有非零区域并对其进行标签化

式中，f为输入图像，g为通过迭代选择连通域峰值T后进行标签二值化输出的人工标记区域图像；

2)在通过区域分割效果确定最佳阈值后，找到对应g中面积最大的区域从f中去除，得到疑似标记区域，

式中，L_max为具有最大面积的连通域，M为输出包含疑似标记区域的图像，然后从图像中去除掉满足条件的像素点即得到去除标记的超声图像；

3)对M中的空白区域采用经典的图像修复算法TV模型进行处理，得到对于图像空白区域的估算像素值并填充修复，估算像素值的数学表达式如下：

式中，F_o代表当前像素，F_p代表其4个邻域像素，系数H定义为：

式中，λ为平滑系数，而w_p的定义为：

式中，为散度，以右侧领域为例定义为：

式中，F_E，F_NE，F_SE分别代表当前像素的右邻接、右上邻接和右下邻接像素，再通过迭代可以实现空白区域的像素估计修复，最后以均值滤波平滑修复区域。