[发明专利]一种基于迁移学习的青光眼多模态智能识别系统

说明书

本发明公开一种基于迁移学习的青光眼多模态智能识别系统，使用迁移学习方法，针对多标签和多模态数据集进行青光眼亚型病例的深度学习模型构建，包括多模态数据预处理模块、多模态识别模块；通过对网络参数的预训练，极大减少了训练网络所使用的数据量，充分利用了数据的文本信息和图像信息，多特征综合诊断，极大提高了青光眼诊断的准确性；本发明实现了诊断深入到青光眼的亚型，突破了传统只能诊断是否为青光眼的技术手段，通过基于迁移学习的青光眼多模态智能诊断网络，实现自动从训练数据库中学习诊断青光眼的多模态特征。

技术领域

本发明涉及多模态神经网络分类技术领域，具体涉及一种基于迁移学习的青光眼多模态智能识别系统。

背景技术

深度学习的最新进展已被应用到不同的医疗领域，用以早期检测或预测某些异常。在眼科领域，使用深度学习方法的医学影像分析开始受到广泛关注。在主要的眼科异常中，青光眼是最严重的一种，它可能会对人类的视力造成不可逆的损害，因为它会影响到负责传递与视觉有关的感觉信息的视神经纤维。作为一种无症状的疾病，大多数患者察觉不到明显的体征，往往发现症状时已为时过晚。因此，早期发现和治疗对于预防视力下降极为重要。现有的青光眼智能诊断方法中，普遍基于眼底照片进行深度学习研究。但基于眼底照片的深度学习方法有以下缺陷：第一、提取特征单一、具有局限性，无法充分利用眼底照片中的青光眼有效信息，准确性较低。第二、数据集分布不均衡、由于采集数据时受到光照、角度等外界条件等的影响、训练后的神经网络准确率往往受限于所用的数据集。

如何尽早诊断青光眼，提高诊断准确率，已成为青光眼诊断中亟待解决的问题。青光眼的主要特征是视野丧失，其主要原因是眼压(IOP)升高和/或视神经血流量丧失。然而，由于IOP正常时仍存在视觉损伤，因此IOP的特异性和敏感性都不足以成为有效的青光眼指标。青光眼还可以通过测量青光眼角度、视神经纤维层厚度等特征来诊断。但青光眼症状复杂，诊断准确率低。以往的研究表明，基于彩色眼底照片和海德堡光学相干断层扫描图片的神经网络对青光眼早期诊断的准确性接近或优于眼科医生。同时，该方法还可以根据基线检查结果，预测未来的疾病变化，如视野缺损程度、神经纤维层厚度等。另一种诊断青光眼的方法是通过光学相干断层扫描血管造影(OCTA)识别血管分布特征。OCTA是一种新型无创眼底成像技术，可高分辨率识别视网膜脉络膜血流信息，成像体内视网膜脉络膜微血管循环。在正常视网膜脉络膜血管改变、疾病管理随访、治疗效果检测等方面具有独特优势。基于高质量的多模态图像数据，并结合神经网络，有望大大提高青光眼患者的诊断准确性。人工智能与医学影像的结合，为青光眼的临床诊治带来突破性创新。

迁移学习是一种利用其他相关领域的大量先验知识，在特定领域执行新任务的过程中模仿人类视觉系统的学习方法。采用迁移学习，在医学图像数据集数量较少的情况下，也可以快速训练出理想的效果。因此，实现一种基于迁移学习的多模态青光眼识别网络系统具有重要的现实意义。

发明内容

为解决上述技术问题，本发明的目的是提供一种基于迁移学习的青光眼多模态智能识别系统，通过使用文字提取的神经网络提取患者的年龄、性别、主诉、现病史、既往史、视力、眼压、各项专科检查以及诊断的关键词汇信息；使用U-Net网络构建，用于对眼底照片图像中的血管进行分割，输出青光眼血管分布特征，对眼底照片中的青光眼视盘和视杯进行分割，输出视盘和视杯的面积之比；使用深度学习分类网络构建神经网络，捕捉青光眼全局、局部特征，进行模型参数训练，随后使用梯度加权类激活映射(Grad-CAM)方法标定青光眼识别过程中神经网络重点关注区域；通过以上三条分支综合识别青光眼病型。

为实现上述技术效果，本发明提出的一种基于迁移学习的青光眼多模态智能识别系统，包括多模态数据预处理模块、多模态识别模块；通过多模态数据预处理模块对文本信息进行提取、对图像数据进行预处理，得到青光眼数据集；通过多模态识别模块针对多标签和多模态的数据集构建基于迁移学习方法的青光眼亚型病例识别模型。