[发明专利]眼科多模态影像的检索方法、装置、服务器及存储介质

说明书

本发明实施例公开了一种眼科多模态影像的检索方法、装置、服务器及存储介质，该方法包括：获取用户当前的眼部图像，所述眼部图像为眼科数字影像，所述眼部图像包含多种不同模态的眼部影像；将所述多种不同模态的眼部影像对应输入到多个预先训练好的深度学习模型融合训练所述多种不同模态的眼部影像的相似性和不相似性并输出多个特征向量，根据所述多个特征向量生成对比分析结果。通过获取用户的单模态眼睛图像，系统在深度学习模型中进行识别，输出多模态识别结果，解决了现有技术中无法通过单模态眼部图像发现用户其他潜在眼部疾病的问题，实现了通过单模态眼部图像检索到其他可能存在的眼部疾病的效果，提升了用户的体验。

技术领域

本发明实施例涉及检索技术，尤其涉及一种眼科多模态影像的检索方法、装置、服务器及存储介质。

背景技术

随着成像技术的发展，眼科数字影像已成为眼科学的主要数据，这一趋势驱动着眼科影像检索功能的建设，以辅助医生临床决策。传统上，眼科影像检索功能采用基于文本的检索方法，先对影像进行文本描述(建立文本和影像的对应关系)，检索时输入关键词查询并返回排序结果。这种“以字找图”的方法，存在文本描述和影像内容本身不一致的语义差异，影响检索效果。随着计算机视觉技术的发展，基于内容的影像检索(Content-BasedImage Retrieval,CBIR)方法开始应用于眼科。这种“以图找图”的方法依据图像本身的颜色、形状、纹理等特征进行检索，避免文本描述和影像内容的语义差异。基于内容的图像检索(Content-based Image Retrieval，简称CBIR)技术是根据图像的内容检索最相似的图像，融合了信息检索、计算机视觉等技术。近年来，在医学影像领域，以深度卷积网络(CNN)为代表的深度学习算法在眼科影像的疾病分类和病灶分割上获得了优异性能，在提取纹理、颜色、形态等特征上超过传统分类器(如支持向量机(SVM)、随机森林(RF)等)，这为影像检索功能的建设提供了技术基础。

人体的各部位疾病可通过眼部的病变来呈现，因此学术界和工业界广泛致力于通过人工智能算法分析眼科数字影像来自动筛查疾病，并已有相关成果问世。如美国德克萨斯州贝勒大学开发出通过照片可确定眼癌的免费软件White Eye Detector，华盛顿大学开发了一款能根据眼睛颜色诊断肝癌的软件BiliScreen，国内至真健康公司推出智能筛查眼底相机。然而，依托眼科医疗影像技术和图像处理技术的疾病自动筛查，其算法面临可解释性、准确性的挑战，且训练模型所用的样本也面临采集困难、标注主观多义等问题，临床应用仍有相当长的路要走。更重要的，尽管计算机筛查结果只是作为医生的辅助参考，但计算机结果或多或少会影响到医生的再次判断，从而有可能影响到最终诊断结果。

发明内容

本发明提供一种眼科案例的检索方法、装置、服务器及存储介质，以实现通过单模态眼部图像检索到其他可能存在的潜在眼部问题的效果。

第一方面，本发明实施例提供了一种眼科多模态影像的检索方法，包括：获取用户当前的眼部图像，所述眼部图像为眼科数字影像，所述眼部图像包含多种不同模态的眼部影像；

将所述多种不同模态的眼部影像对应输入到多个预先训练好的深度学习模型融合训练所述多种不同模态的眼部影像的相似性和不相似性并输出多个特征向量，根据所述多个特征向量生成对比分析结果。

可选的，所述眼科数字影像包括：眼底图、角膜神经图和OCT图。

可选的，所述深度学习模型为多模态卷积神经网络模型。

可选的，所述将所述单模态眼部图像输入到预先训练好的深度学习模型中输出多模态识别结果之前还包括：

对样本图像使用多种标签进行标记并建立数据库；

建立多模态卷积神经网络并使用所述样本图像对所述多模态卷积神经网络模型进行训练，以得到训练好的多模态卷积神经网络模型。

可选的，所述对样本图像使用多种标签进行标记并建立数据库包括：