[发明专利]基于生理指标和影像融合的肝肿瘤自动分类方法及装置

权利要求书

1.基于生理指标和影像融合的肝肿瘤自动分类方法，其特征在于：其包括以下步骤：

(1)构建胆管细胞癌和肝细胞癌的影像及其生理指标数据库，采集患者的腹部CT影像及医生记录的相应生理指标；

(2)对采集的所有影像数据进行标注，勾画出其中的肝脏组织区域并判断其属于胆管细胞癌还是肝细胞癌，做好标注，以此作为网络训练的金标准；

(3)构建一个三维全卷积神经网络分割模型，以步骤(2)中标注好肝脏区域的胆管细胞癌和肝细胞癌影像数据作为模型的输入进行学习，让模型全自动的学习提取肝脏组织的特征，从而将其从整个腹部扫描影像中分割出来，作为后续肝癌识别的感兴趣区域；

(4)构建一个基于影像和生理指标相融合的深度卷积神经网络分类模型，对胆管细胞癌和肝细胞癌两类肝癌的影像信息及能在生理指标上显著区分两者差异的信息进行学习训练，通过使用相应的转换函数，将已有两类肝癌的生理指标投射成数字矩阵，与用来进行影像学特征提取的卷积神经网络中的全连接层联结后进行融合训练。

2.根据权利要求1所述的基于生理指标和影像融合的肝肿瘤自动分类方法，其特征在于：所述步骤(3)中，将步骤(1)中采集的腹部影像数据输入到网络中进行学习训练，并将此网络的分割结果与提供的肝脏金标准相比较，计算相应的loss值并反馈到网络中更新权重参数，优化模型训练。

3.根据权利要求2所述的基于生理指标和影像融合的肝肿瘤自动分类方法，其特征在于：所述步骤(4)中，将步骤(3)中输出的肝脏组织影像作为网络的输入进行学习训练，并在网络的全连接层处插入一个由肝癌患者的生理指标转化而来的数字矩阵，将两者进行联结，实现肝癌的影像和生理指标特征的融合训练，然后将网络的预测结果和提供的肝癌类别金标准相比较，计算相应的loss值并反馈到网络中更新权重参数，优化模型训练，从而得到能全自动识别胆管细胞癌和肝细胞癌这两类肝癌的模型。

4.根据权利要求3所述的基于生理指标和影像融合的肝肿瘤自动分类方法，其特征在于：所述步骤(4)包括以下分步骤：

(4.1)将经全卷积神经网络分割得到的肝脏感兴趣区域影像输入1个7*7*7的卷积层1中用来提取胆管细胞癌和肝细胞癌的相应特征；

(4.2)将步骤(4.1)中的的输出特征图输入一个池化层1中进行缩放，在保证不降低步骤一提取出来的特征图分辨率的情况下减小其尺寸，减少网络训练的参数量；

(4.3)将上面步骤的输出特征图输入一个全连接层1，把特征图展平成一个一维特征向量；

(4.4)将患者的生理指标数据通过转换函数转换成一个一维特征向量，并将此向量与步骤(4.3)输出的一维特征向量进行联结；

(4.5)将步骤(4.4)输出的一维特征向量输入一个softmax层1中进行分类，得到胆管细胞癌和肝细胞癌的分类结果，

至此，该影像和生理指标相融合的卷积神经网络肝癌识别模型构建完成。

5.根据权利要求4所述的基于生理指标和影像融合的肝肿瘤自动分类方法，其特征在于：所述步骤(4.2)和(4.3)之间还包括以下步骤：

(a)将步骤(4.2)中的输出特征图输入一个3*3*3的卷积层2中进一步提取特征；

(b)将上面步骤中的输出特征图输入一个池化层2中进行缩放，

在保证不降低特征图分辨率的情况下减小其尺寸，减少网络

训练的参数量。

6.根据权利要求5所述的基于生理指标和影像融合的肝肿瘤自动分类方法，其特征在于：所述步骤(a)之后还包括步骤：将步骤(a)的输出特征图输入若干个3*3*3的卷积层中进一步提取特征。

7.根据权利要求4所述的基于生理指标和影像融合的肝肿瘤自动分类方法，其特征在于：所述步骤(a)之后包括31个3*3*3的卷积层3-33。

8.基于生理指标和影像融合的肝肿瘤自动分类装置，其特征在于：其包括：

数据库构建和生理指标采集模块，其构建胆管细胞癌和肝细胞癌的影像及其生理指标数据库，采集患者的腹部CT影像及医生记录的相应生理指标；

标注模块，其对采集的所有影像数据进行标注，勾画出其中的肝脏组织区域并判断其属于胆管细胞癌还是肝细胞癌，做好标注，以此作为网络训练的金标准；

三维全卷积神经网络分割模型构建模块，其构建一个三维全卷积神经网络分割模型，以标注好肝脏区域的胆管细胞癌和肝细胞癌影像数据作为模型的输入进行学习，让模型全自动的学习提取肝脏组织的特征，从而将其从整个腹部扫描影像中分割出来，作为后续肝癌识别的感兴趣区域；

深度卷积神经网络分类模型构建模块，其构建一个基于影像和生理指标相融合的深度卷积神经网络分类模型，对胆管细胞癌和肝细胞癌两类肝癌的影像信息及能在生理指标上显著区分两者差异的信息进行学习训练，通过使用相应的转换函数，将已有两类肝癌的生理指标投射成数字矩阵，与用来进行影像学特征提取的卷积神经网络中的全连接层联结后进行融合训练。