[发明专利]改进GoogLeNet神经网络下多模态医学图像分类方法

权利要求书

1.一种改进GoogLeNet神经网络下多模态医学图像分类方法，其特征在于，包括以下步骤：

步骤1：获取不同类别的多模态三维影像；

步骤2：构建改进的GoogLeNet卷积神经网络作为神经网络分类模型；

步骤3：将获取的影像数据随机打乱顺序，生成批次；

步骤4：将具有标签标注的样本数据进行预处理操作，准备好样本数据和测试数据样本，统一样本尺寸；

步骤5：对神经网络分类模型进行参数优化，获取优化的网络模型参数，保存网络模型；

步骤6：以获得的两种模态影像生物标记物作为步骤5生产的网络模型之输入，以不同类别作为分类结果输出；

步骤7：将预处理后的数据送入训练优化好的神经网络分类模型中，通过神经网络分类模型的分类器做出分类并输出分类结果；

步骤8：对经最后全连接层和SoftMax层，输出双模态分类结果后，结合MMSE表和CDR表生物学标记做出最终分类情况；

所述步骤2中构建改进的GoogLeNet卷积神经网络作为分类模型，以GoogLeNet模型为基础，对网络进行调整，将原有的22层的网络深度缩减为19层，包含了18个卷积层和1个全连接层，去除了2个Inception模块，仅保留了7个Inception模块，同时保留了一层SoftMax层，其中通过卷积层对影像特征进行提取，网络模型中卷积运算求解式为：

其中，是l层输入的特征图，M_j是输入特征图的集合，表示与输入特征图对应的卷积核，表示的是第j个特征图的偏置。*为卷积计算，f(.)为激活函数。

2.根据权利要求1所述的改进GoogLeNet神经网络下多模态医学图像分类方法，其特征在于，所述步骤1中的三维影像为多模态医学影像数据，包含核磁共振图像、正电子发射型计算机断层显像两种模态的图像，输出五种类别，分别是正常对照组、第一异常组、第二异常组、第三异常组和第四异常组。

3.根据权利要求1所述的改进GoogLeNet神经网络下多模态医学图像分类方法，其特征在于，按照获取样本数据，以每36个为一个批次，采用随机方式打乱数据；步骤3中，对获取得到的不同类型数据进行预处理操作，包括核磁共振图像、正电子发射型计算机断层显像模态图像数据进行原点校正、分割、分割出白质、灰质，同时进行强度归一化、去除颅骨、颈骨、图像配准，并进行前联合、后联合对齐，运用数据增强方法，获取影像变形、旋转、缩放后的图像。同时获取冠状图、轴状图、矢状图三方向上的影像数据，统一预处理后图像尺寸大小，划分出训练集和测试集。

4.根据权利要求3所述的改进GoogLeNet神经网络下多模态医学图像分类方法，其特征在于，所述步骤8中，结合深度学习网络模型分类结果和临床评估数据MMSE表和CDR表来对第一异常组、第二异常组、第三异常组和第四异常组不同阶段来进行综合分类评估，在评估双模态分类结果时，采用皮尔逊积矩相关系数，度量两个双模态特征下的相关性，其值介于-1与1之间，这里用γ表示，γ越接近于+1，并行网络对各自模态影像预测的一致性越高。

5.根据权利要求4所述的改进GoogLeNet神经网络下多模态医学图像分类方法，其特征在于，通过步骤8所计算的皮尔逊积矩相关系数，结合临床评估数据MMSE表和CDR表来对阿尔兹海默病进行综合评估；

分类融合定义如下：

其中，s_MMSE和s_CDR分别为临床神经心理学检查中的评估数据，此处采用均值；s_MAX(x_i,y_i)为基于两种模态的深度神经网络分类结果，取值步骤7中n个分类器的加权投票机制决策结果；S为结合深度神经网络和临床评估数据所作出的最终分类结果；

其中η有如下表示：

综上做出基于此方法的不同类别之间的二分类和多分类情况结果。