[发明专利]一种基于迁移学习的青光眼多模态智能识别系统

权利要求书

1.一种基于迁移学习的青光眼多模态智能识别系统，其特征在于，包括多模态数据预处理模块、多模态识别模块；通过多模态数据预处理模块对文本信息进行提取、对图像数据进行预处理，得到青光眼数据集；通过多模态识别模块针对多标签和多模态的数据集构建基于迁移学习方法的青光眼亚型病例识别模型。

2.根据权利要求1所述的一种基于迁移学习的青光眼多模态智能识别系统，其特征在于，所述多模态数据预处理模块包括关键字提取模块、高斯滤波模块、图像增强模块、图像裁剪模块；所述关键字提取模块使用深度学习的方法提取数据库电子病历中的青光眼病症关键文字；所述滤波模块用于对图像数据进行高斯滤波处理；所述图像增强模块使用图像增强方法扩大训练样本以避免过拟合；所述裁剪模块基于卷积神经网络针对原始图像进行视杯盘周围1.5倍方格像素裁剪。

3.根据权利要求1所述的一种基于迁移学习的青光眼多模态智能识别系统，其特征在于，所述多模态识别模块包括三个分支：第一个分支为输入经预处理模块处理后的患者电子病志的文本信息，经卷积层、循环层和长短时记忆神经网络处理后得到青光眼关键字的特征矩阵，并将输出与Catboost分类器相接；第二个分支基于U-Net网络构建，用于对眼底照片图像中的血管进行分割，输出青光眼血管分布特征，对眼底照片中的青光眼视盘和视杯进行分割，输出视盘和视杯的面积之比，并将输出与Catboost分类器相接；第三个分支基于输入预处理后的数据集，通过深度学习网络捕获海德堡光学相干断层扫描图像和视神经纤维层厚度图像的全局、局部特征，进行模型参数训练，随后使用梯度加权类激活映射方法标定青光眼识别过程中神经网络关注区域；第一个分支与第二个分支的输出端进行融合，融合后连接Catboost分类器，Catboost分类器的输出端与第三个分支中的输出端进行多模态信息融合，输出可解释性的视觉分析和青光眼病型。

4.根据权利要求3所述的一种基于迁移学习的青光眼多模态智能识别系统，其特征在于，所述第三个分支中的深度学习网络包括ResNet、GoogLeNet、DenseNet、ShuffleNet、EfficientNet和Vision Transformer，将预处理后的图像数据分别输入深度学习网络中进行模型参数训练，根据训练样本准确率，选择出准确率最高的深度学习网络，作为与Catboost分类器的输出端进行融合的深度学习网络。

5.根据权利要求1～4任意一项所述的基于迁移学习的青光眼多模态智能识别系统，其特征在于，所述系统执行过程包括：

步骤1：采集青光眼原始电子病志与医学影像数据，标注数据标签为正常、原发性开角型青光眼、原发性闭角型青光眼、正常眼压型青光眼，构建原始青光眼多模态数据集；

步骤2：将原始青光眼多模态数据集输入数据预处理模块进行预处理，生成用于神经网络训练的青光眼数据集；

步骤3：输入预处理后的数据集对多模态识别模块进行参数训练，得到基于青光眼分类的多模态识别模块；

步骤4：将需要进行青光眼亚型分类的患者数据输入到已经训练好的多模态识别模块中，进行青光眼识别。

6.根据权利要求5所述的基于迁移学习的青光眼多模态智能识别系统，其特征在于，所述步骤2包括：

步骤2.1：基于卷积神经网络，针对患者电子病志中青光眼亚型的文字信息进行提取，提取的信息包括该人体的年龄、性别、主诉、现病史、既往史、视力、眼压、各项专科检查以及诊断的关键词汇，用来作为多模态识别模块第一个分支的输入；

步骤2.2：将眼底照片裁剪成以视盘为中心的572×572图像，将海德堡光学相干断层扫描图像和视神经纤维层厚度图像裁剪成以视盘为中心的224×224图像；

步骤2.3：对数据进行数据增强，包括垂直和水平镜像、90°、180°和270°旋转，以及用固定尺寸的图框在原有分辨率上进行滑窗分割，得到扩增后的数据集；

步骤2.4：对数据进行高斯滤波以平衡对图像噪声的抑制和对图像的模糊，输入为扩增后的数据集，输出为滤波器窗口内的像素的均值；

步骤2.5：使用极大极小标准化方法，对图像进行标准化处理，经过数据标准化处理后，各指标处于同一数量级。