[发明专利]一种基于空谱融合深度学习的医学高光谱图像分类方法

权利要求书

1.一种基于空谱融合深度学习的医学高光谱图像分类方法，其特征在于：该方法包括；

步骤1；数据预处理；对所有的三维高光谱图像数据进行光谱校正；采用HySIME滤波器对光谱校正后的三维高光谱图像数据进行滤波降噪处理；移除噪声中的极端波段，并通过相邻波段均值融合的方法对高光谱图像进行降维；再对数据进行归一化处理，得到归一化处理后的三维高光谱图像；

步骤2；获取数据集；所述数据集包括归一化处理后的患者三维高光谱图像，所述归一化处理后的患者三维高光谱图像包括训练样本集和测试样本集，所述训练样本集和所述测试样本集均包括正常组织区域像素(1)、胶质母细胞瘤区域像素(2)、血管区域像素(3)和背景区域像素(4)四类；

步骤3；生成phasor特征：输入归一化处理后的三维高光谱图像，依据公式

计算得到归一化处理后的三维高光谱图像的phasor特征，并将归一化处理后的三维高光谱图像的phasor特征与归一化处理后的患者三维高光谱图像进行堆栈，得到训练样本集一；上式中，l代表波段的序号，L代表总的波段数，a_l代表归一化处理后的三维高光谱图像的第l个波段的光谱值，G为phasor特征G，S为phasor特征S， 其中，phasor特征G和phasor特征S总称为phasor特征；

步骤4；数据重采样；采用SMOTE算法对训练样本集一中的正常组织区域像素(1)、胶质母细胞瘤区域像素(2)、血管区域像素(3)和背景区域像素(4)四类中三维高光谱图像中个数最少的样本进行扩增，即根据正常组织区域像素(1)、胶质母细胞瘤区域像素(2)、血管区域像素(3)和背景区域像素(4)四类中三维高光谱图像中个数最少的样本人工合成新样本添加到步骤3的训练样本集一中，得到训练样本集二；

步骤5；1D-DNN模型的建立和训练；使用Pytorch开源软件库，构建一维深度神经网络(1D-DNN)，将训练样本集二输入到一维深度神经网络(1D-DNN)内进行训练，得到训练好的一维深度神经网络(1D-DNN)，再输入测试集并利用训练好的一维深度神经网络(1D-DNN)对测试集进行素级分类，得到一维深度神经网络像素级分类结果；

步骤6；将步骤2的患者三维高光谱图像进行边缘填充，以每个像素为中心，使用其邻域像素组成新的大小为w×w×d的3D立方体作为训练样本集三，其中w为选取块状样本的宽度，d为光谱深度；然后采用SMOTE算法对训练样本集三中的正常组织区域像素(1)、胶质母细胞瘤区域像素(2)、血管区域像素(3)和背景区域像素(4)四类中三维高光谱图像中个数最少的样本进行扩增，即根据正常组织区域像素(1)、胶质母细胞瘤区域像素(2)、血管区域像素(3)和背景区域像素(4)四类中三维高光谱图像中个数最少的样本人工合成新样本添加到训练样本集三中，得到训练样本集四；

步骤7；使用Pytorch开源软件库，搭建二维卷积神经网络(2D-CNN)模型；将训练样本集四输入到二维卷积神经网络(2D-CNN)内进行训练，得到训练好的二维卷积神经网络(2D-CNN)，再输入测试集并利用训练好的二维卷积神经网络(2D-CNN)对测试集进行像素级分类，得到二维卷积神经网络(2D-CNN)像素级分类结果；

步骤8；分类结果融合及优化；

将二维卷积神经网络(2D-CNN)像素级分类结果上的胶质母细胞瘤区域像素(2)、血管区域像素(3)覆盖到一维深度神经网络像素级分类结果上，得到融合像素级分类结果，然后基于主成分分析(PCA)方法，由主成分分析(PCA)方法得到的第一个主成分引导，利用边缘保持滤波处理融合像素级分类结果，得到优化后的像素级分类结果；

步骤9；数据降维：利用主成分分析方法，对患者三维高光谱图像进行降维操作，得到由前三个主成分组成的三波段图像，即降维处理后的高光谱图像数据；

步骤10；全卷积神经网络模型的建立和训练：搭建全卷积神经网络模型，将降维处理后的高光谱图像数据中的训练集输入全卷积神经网络模型中进行训练，得到训练后的全卷积神经网络模型，采用全卷积神经网络模型对降维处理后的高光谱图像数据中的训练集进行语义分割；得到背景分割结果，最后将优化分类结果与背景分割结果融合，得到最终分类结果，并输出可视化结果。